ComfyUI FLUX: Guide til Oppsett, Arbeidsflyter som FLUX-ControlNet, FLUX-LoRA og FLUX-IPAdapter... og Online Tilgang

Hei, AI-entusiaster! 👋 Velkommen til vår introduksjonsguide om bruk av FLUX innen ComfyUI. FLUX er en banebrytende modell utviklet av Black Forest Labs. 🌟 I denne opplæringen skal vi dykke ned i det grunnleggende om ComfyUI FLUX, og vise hvordan denne kraftige modellen kan forbedre din kreative prosess og hjelpe deg med å presse grensene for AI-generert kunst. 🚀

Vi vil dekke:

1. Introduksjon til FLUX

2. Ulike Versjoner av FLUX

3. FLUX Maskinvarekrav

• 3.1. FLUX.1 [Pro] Maskinvarekrav
• 3.2. FLUX.1 [Dev] Maskinvarekrav
• 3.3. FLUX.1 [Schnell] Maskinvarekrav

4. Hvordan installere FLUX i ComfyUI

• 4.1. Installere eller Oppdatere ComfyUI
• 4.2. Laste ned ComfyUI FLUX Tekstkodere og CLIP Modeller
• 4.3. Laste ned FLUX.1 VAE Modell
• 4.4. Laste ned FLUX.1 UNET Modell

5. ComfyUI FLUX Arbeidsflyt | Nedlasting, Online Tilgang og Guide

• 5.1. ComfyUI Arbeidsflyt: FLUX Txt2Img
• 5.2. ComfyUI Arbeidsflyt: FLUX Img2Img
• 5.3. ComfyUI Arbeidsflyt: FLUX LoRA
• 5.4. ComfyUI Arbeidsflyt: FLUX ControlNet
• 5.5. ComfyUI Arbeidsflyt: FLUX Inpainting
• 5.6. ComfyUI Arbeidsflyt: FLUX NF4 & Oppskalering
• 5.7. ComfyUI Arbeidsflyt: FLUX IPAdapter
• 5.8. ComfyUI Arbeidsflyt: Flux LoRA Trainer
• 5.9. ComfyUI Arbeidsflyt: Flux Latent Upscale

1. Introduksjon til FLUX

FLUX.1, den banebrytende AI-modellen fra Black Forest Labs, revolusjonerer måten vi lager bilder fra tekstbeskrivelser. Med sin enestående evne til å generere fantastisk detaljerte og komplekse bilder som nøye matcher input-forespørslene, skiller FLUX.1 seg ut fra konkurransen. Hemmeligheten bak FLUX.1's suksess ligger i dens unike hybride arkitektur, som kombinerer forskjellige typer transformerblokker og drives av imponerende 12 milliarder parametere. Dette gjør det mulig for FLUX.1 å produsere visuelt fengslende bilder som nøyaktig representerer tekstbeskrivelsene med bemerkelsesverdig presisjon.

En av de mest spennende aspektene ved FLUX.1 er dens allsidighet i å generere bilder i ulike stiler, fra fotorealistiske til kunstneriske. FLUX.1 har til og med den bemerkelsesverdige evnen til sømløst å inkorporere tekst i de genererte bildene, noe som mange andre modeller sliter med å oppnå. Videre er FLUX.1 kjent for sin eksepsjonelle evne til å følge forespørsler, og håndterer både enkle og komplekse beskrivelser uten problemer. Dette har ført til at FLUX.1 ofte sammenlignes med andre kjente modeller som Stable Diffusion og Midjourney, hvor FLUX.1 ofte blir foretrukket på grunn av sin brukervennlighet og førsteklasses resultater.

De imponerende egenskapene til FLUX.1 gjør den til et uvurderlig verktøy for et bredt spekter av applikasjoner, fra å skape fantastiske visuelle innhold og inspirere innovative design til å lette vitenskapelig visualisering. FLUX.1's evne til å generere svært detaljerte og nøyaktige bilder fra tekstbeskrivelser åpner opp en verden av muligheter for kreative fagfolk, forskere og entusiaster. Ettersom feltet for AI-genererte bilder fortsetter å utvikle seg, står FLUX.1 i front, og setter en ny standard for kvalitet, allsidighet og brukervennlighet.

Black Forest Labs, det banebrytende AI-selskapet bak den revolusjonerende FLUX.1, ble grunnlagt av Robin Rombach, en kjent figur i AI-industrien som tidligere var en kjerne medlem av Stability AI. Hvis du er ivrig etter å lære mer om Black Forest Labs og deres revolusjonerende arbeid med FLUX.1, sørg for å besøke deres offisielle nettsted på https://blackforestlabs.ai/.

2. Ulike Versjoner av FLUX

FLUX.1 kommer i tre forskjellige versjoner, hver designet for å imøtekomme spesifikke brukerbehov:

1. FLUX.1 [pro]: Dette er toppversjonen som tilbyr den beste kvaliteten og ytelsen, perfekt for profesjonell bruk og høy-end prosjekter.
2. FLUX.1 [dev]: Optimalisert for ikke-kommersiell bruk, denne versjonen opprettholder høy kvalitet samtidig som den er mer effektiv, noe som gjør den flott for utviklere og entusiaster.
3. FLUX.1 [schnell]: Denne versjonen handler om hastighet og å være lettvektig, noe som gjør den perfekt for lokal utvikling og personlige prosjekter. Den er også åpen kildekode og tilgjengelig under Apache 2.0-lisensen, så den er tilgjengelig for et bredt spekter av brukere.

Navn	HuggingFace repo	Lisens	md5sum
FLUX.1 [pro]	Kun tilgjengelig i vår API.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. FLUX Maskinvarekrav

3.1. FLUX.1 [Pro] Maskinvarekrav

• Anbefalt GPU: NVIDIA RTX 4090 eller tilsvarende med 24 GB eller mer VRAM. Modellen er optimalisert for høy-end GPUer for å håndtere sine komplekse operasjoner.
• RAM: 32 GB eller mer systemminne.
• Diskplass: Omtrent 30 GB.
• Beregning Krav: Høy presisjon er nødvendig; bruk FP16 (halv-presisjon) for å unngå ut-av-minne feil. For best resultat, foreslås det å bruke fp16 Clip modellvariant for maksimal kvalitet.
• Andre Krav: En rask SSD anbefales for raskere innlastingstider og generell ytelse.

3.2. FLUX.1 [Dev] Maskinvarekrav

• Anbefalt GPU: NVIDIA RTX 3080/3090 eller tilsvarende med minst 16 GB VRAM. Denne versjonen er litt mer tolerant på maskinvare sammenlignet med Pro-modellen, men krever fortsatt betydelig GPU-kraft.
• RAM: 16 GB eller mer systemminne.
• Diskplass: Omtrent 25 GB.
• Beregning Krav: Lignende som Pro, bruk FP16 modeller, men med litt toleranse for lavere presisjonsberegninger. Kan bruke fp16 eller fp8 Clip modeller basert på GPU-kapasiteter.
• Andre Krav: En rask SSD anbefales for optimal ytelse.

3.3. FLUX.1 [Schnell] Maskinvarekrav

• Anbefalt GPU: NVIDIA RTX 3060/4060 eller tilsvarende med 12 GB VRAM. Denne versjonen er optimalisert for raskere inferens og lavere maskinvarekrav.
• RAM: 8 GB eller mer systemminne.
• Diskplass: Omtrent 15 GB.
• Beregning Krav: Denne versjonen er mindre krevende og tillater fp8 beregninger hvis det går tom for minne. Den er designet for å være rask og effektiv, med fokus på hastighet snarere enn ultra-høy kvalitet.
• Andre Krav: SSD er nyttig, men ikke like kritisk som i Pro og Dev versjoner.

4. Hvordan installere FLUX i ComfyUI

4.1. Installere eller Oppdatere ComfyUI

For å effektivt bruke FLUX.1 innen ComfyUI-miljøet, er det avgjørende å sørge for at du har den nyeste versjonen av ComfyUI installert. Denne versjonen støtter de nødvendige funksjonene og integrasjonene som kreves for FLUX.1 modeller.

4.2. Laste ned ComfyUI FLUX Tekstkodere og CLIP Modeller

For optimal ytelse og nøyaktig tekst-til-bilde-generering ved bruk av FLUX.1, må du laste ned spesifikke tekstkodere og CLIP modeller. Følgende modeller er essensielle, avhengig av systemets maskinvare:

Modell Filnavn	Størrelse	Merk	Lenke
t5xxl_fp16.safetensors	9.79 GB	For bedre resultater, hvis du har høy VRAM og RAM (mer enn 32GB RAM).	Last ned
t5xxl_fp8_e4m3fn.safetensors	4.89 GB	For lavere minnebruk (8-12GB)	Last ned
clip_l.safetensors	246 MB		Last ned

Trinn for Nedlasting og Installasjon:

1. Last ned clip_l.safetensors modellen.
2. Avhengig av systemets VRAM og RAM, last ned enten t5xxl_fp8_e4m3fn.safetensors (for lavere VRAM) eller t5xxl_fp16.safetensors (for høyere VRAM og RAM).
3. Plasser de nedlastede modellene i ComfyUI/models/clip/ katalogen. Merk: Hvis du tidligere har brukt SD 3 Medium, kan det hende du allerede har disse modellene.

4.3. Laste ned FLUX.1 VAE Modell

Variasjonell Autoencoder (VAE) modellen er avgjørende for å forbedre bildegenereringskvaliteten i FLUX.1. Følgende VAE-modell er tilgjengelig for nedlasting:

Filnavn	Størrelse	Lenke
ae.safetensors	335 MB	Last ned (åpnes i en ny fane)

Trinn for Nedlasting og Installasjon:

1. Last ned ae.safetensors modellfil.
2. Plasser den nedlastede filen i ComfyUI/models/vae katalogen.
3. For enkel identifikasjon, anbefales det å gi filen nytt navn til flux_ae.safetensors.

4.4. Laste ned FLUX.1 UNET Modell

UNET-modellen er ryggraden for bildesyntese i FLUX.1. Avhengig av systemets spesifikasjoner, kan du velge mellom forskjellige varianter:

Filnavn	Størrelse	Lenke	Merk
flux1-dev.safetensors	23.8GB	Last ned	Hvis du har høy VRAM og RAM.
flux1-schnell.safetensors	23.8GB	Last ned	For lavere minnebruk

Trinn for Nedlasting og Installasjon:

1. Last ned passende UNET-modell basert på systemets minnekonfigurasjon.
2. Plasser den nedlastede modellfilen i ComfyUI/models/unet/ katalogen.

5. ComfyUI FLUX Arbeidsflyt | Nedlasting, Online Tilgang og Guide

Vi vil kontinuerlig oppdatere ComfyUI FLUX Arbeidsflyt for å gi deg de nyeste og mest omfattende arbeidsflytene for å generere fantastiske bilder ved bruk av ComfyUI FLUX.

5.1. ComfyUI Arbeidsflyt: FLUX Txt2Img

5.1.1. ComfyUI FLUX Txt2Img : Last ned

5.1.2. ComfyUI FLUX Txt2Img Online Versjon: ComfyUI FLUX Txt2Img

På RunComfy Plattform, vår online versjon forhåndslaster alle nødvendige modeller og noder for deg. I tillegg tilbyr vi høyytelses GPU-maskiner, og sikrer at du kan nyte ComfyUI FLUX Txt2Img opplevelsen uten problemer.

5.1.3. ComfyUI FLUX Txt2Img Forklaring:

ComfyUI FLUX Txt2Img arbeidsflyten begynner med å laste de essensielle komponentene, inkludert FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader), og FLUX VAE (VAELoader). Disse danner grunnlaget for ComfyUI FLUX bildegenereringsprosessen.

• UNETLoader: Laster UNET-modellen for bildegenerering.
  • Kontrollpunkt: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laster CLIP-modellen for tekstkoding.
  • Innebygd Modell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Innebygd Modell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategien for CLIP-modellen er flux
• VAELoader: Laster Variasjonell Autoencoder (VAE) modellen for dekoding av latente representasjoner.
  • VAE-modell: flux/ae.sft

Tekstprompten, som beskriver ønsket utgang, kodes ved bruk av CLIPTextEncode. Denne noden tar tekstprompten som input og gir ut den kodede tekstkondisjoneringen, som veileder ComfyUI FLUX under genereringen.

For å initiere ComfyUI FLUX genereringsprosessen, opprettes en tom latent representasjon ved bruk av EmptyLatentImage. Dette fungerer som startpunktet for ComfyUI FLUX å bygge på.

BasicGuider spiller en avgjørende rolle i å veilede ComfyUI FLUX genereringsprosessen. Den tar den kodede tekstkondisjoneringen og den lastede FLUX UNET som input, og sikrer at den genererte utgangen samsvarer med den angitte tekstbeskrivelsen.

KSamplerSelect lar deg velge prøvetakingsmetoden for ComfyUI FLUX generering, mens RandomNoise genererer tilfeldig støy som input for ComfyUI FLUX. BasicScheduler planlegger støynivåene (sigmas) for hvert trinn i genereringsprosessen, og kontrollerer detaljnivået og klarheten i den endelige utgangen.

SamplerCustomAdvanced samler alle komponentene i ComfyUI FLUX Txt2Img arbeidsflyten. Den tar den tilfeldige støyen, veilederen, valgt sampler, planlagte sigmas, og tom latent representasjon som input. Gjennom en avansert prøvetakingsprosess genererer den en latent representasjon som representerer tekstprompten.

Til slutt dekoder VAEDecode den genererte latente representasjonen til den endelige utgangen ved bruk av den lastede FLUX VAE. SaveImage lar deg lagre den genererte utgangen til en spesifisert plassering, og bevare det fantastiske kunstverket som er muliggjort av ComfyUI FLUX Txt2Img arbeidsflyten.

5.2. ComfyUI Arbeidsflyt: FLUX Img2Img

5.2.1. ComfyUI FLUX Img2Img: Last ned

5.2.2. ComfyUI FLUX Img2Img Online Versjon: ComfyUI FLUX Img2Img

På RunComfy Plattform, vår online versjon forhåndslaster alle nødvendige modeller og noder for deg. I tillegg tilbyr vi høyytelses GPU-maskiner, og sikrer at du kan nyte ComfyUI FLUX Img2Img opplevelsen uten problemer.

5.2.3. ComfyUI FLUX Img2Img Forklaring:

ComfyUI FLUX Img2Img arbeidsflyten bygger på kraften til ComfyUI FLUX for å generere utganger basert på både tekstprompt og inputrepresentasjoner. Den starter med å laste de nødvendige komponentene, inkludert CLIP-modellen (DualCLIPLoader), UNET-modellen (UNETLoader), og VAE-modellen (VAELoader).

• UNETLoader: Laster UNET-modellen for bildegenerering.
  • Kontrollpunkt: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laster CLIP-modellen for tekstkoding.
  • Innebygd Modell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Innebygd Modell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategien for CLIP-modellen er flux
• VAELoader: Laster Variasjonell Autoencoder (VAE) modellen for dekoding av latente representasjoner.
  • VAE-modell: flux/ae.sft

Inputrepresentasjonen, som fungerer som startpunktet for ComfyUI FLUX Img2Img prosessen, lastes ved bruk av LoadImage. ImageScale skalerer deretter inputrepresentasjonen til ønsket størrelse, og sikrer kompatibilitet med ComfyUI FLUX.

Den skalerte inputrepresentasjonen gjennomgår koding ved bruk av VAEEncode, og konverteres til en latent representasjon. Denne latente representasjonen fanger de essensielle egenskapene og detaljene i input, og gir et grunnlag for ComfyUI FLUX å arbeide med.

Tekstprompten, som beskriver de ønskede modifikasjonene eller forbedringene av input, kodes ved bruk av CLIPTextEncode. FluxGuidance anvender deretter veiledning til kondisjoneringen basert på den spesifiserte veiledningsskalaen, og påvirker styrken av tekstpromptens innflytelse på den endelige utgangen.

ModelSamplingFlux setter prøvetakingsparametrene for ComfyUI FLUX, inkludert tidssteg respacing, padding ratio, og utgangsdimensjoner. Disse parameterne kontrollerer granulariteten og oppløsningen av den genererte utgangen.

KSamplerSelect lar deg velge prøvetakingsmetoden for ComfyUI FLUX generering, mens BasicGuider veileder genereringsprosessen basert på den kodede tekstkondisjoneringen og den lastede FLUX UNET.

Tilfeldig støy genereres ved bruk av RandomNoise, og BasicScheduler planlegger støynivåene (sigmas) for hvert trinn i genereringsprosessen. Disse komponentene introduserer kontrollerte variasjoner og finjusterer detaljene i den endelige utgangen.

SamplerCustomAdvanced samler den tilfeldige støyen, veilederen, valgt sampler, planlagte sigmas, og den latente representasjonen av input. Gjennom en avansert prøvetakingsprosess genererer den en latent representasjon som inkorporerer modifikasjonene spesifisert av tekstprompten, samtidig som den bevarer de essensielle egenskapene til input.

Til slutt dekoder VAEDecode den denoised latente representasjonen til den endelige utgangen ved bruk av den lastede FLUX VAE. PreviewImage viser en forhåndsvisning av den genererte utgangen, og viser de fantastiske resultatene oppnådd av ComfyUI FLUX Img2Img arbeidsflyten.

5.3. ComfyUI Arbeidsflyt: FLUX LoRA

5.3.1. ComfyUI FLUX LoRA: Last ned

5.3.2. ComfyUI FLUX LoRA Online Versjon: ComfyUI FLUX LoRA

På RunComfy Plattform, vår online versjon forhåndslaster alle nødvendige modeller og noder for deg. I tillegg tilbyr vi høyytelses GPU-maskiner, og sikrer at du kan nyte ComfyUI FLUX LoRA opplevelsen uten problemer.

5.3.3. ComfyUI FLUX LoRA Forklaring:

ComfyUI FLUX LoRA arbeidsflyten utnytter kraften til Low-Rank Adaptation (LoRA) for å forbedre ytelsen til ComfyUI FLUX. Den starter med å laste de nødvendige komponentene, inkludert UNET-modellen (UNETLoader), CLIP-modellen (DualCLIPLoader), VAE-modellen (VAELoader), og LoRA-modellen (LoraLoaderModelOnly).

• UNETLoader: Laster UNET-modellen for bildegenerering.
  • Kontrollpunkt: flux/flux1-dev.sft
• DualCLIPLoader: Laster CLIP-modellen for tekstkoding.
  • Innebygd Modell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Innebygd Modell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategien for CLIP-modellen er flux
• VAELoader: Laster Variasjonell Autoencoder (VAE) modellen for dekoding av latente representasjoner.
  • VAE-modell: flux/ae.sft
• LoraLoaderModelOnly: Laster LoRA (Low-Rank Adaptation) modellen for å forbedre UNET-modellen.
  • LoaderModel: flux/realism_lora.safetensors

Tekstprompten, som beskriver ønsket utgang, spesifiseres ved bruk av String Literal. CLIPTextEncode koder deretter tekstprompten, og genererer den kodede tekstkondisjoneringen som veileder ComfyUI FLUX genereringsprosessen.

FluxGuidance anvender veiledning til den kodede tekstkondisjoneringen, og påvirker styrken og retningen til ComfyUI FLUX's etterlevelse av tekstprompten.

En tom latent representasjon, som fungerer som startpunktet for generering, opprettes ved bruk av EmptyLatentImage. Bredden og høyden på den genererte utgangen spesifiseres ved bruk av Int Literal, og sikrer de ønskede dimensjonene av det endelige resultatet.

ModelSamplingFlux setter prøvetakingsparametrene for ComfyUI FLUX, inkludert padding ratio og tidssteg respacing. Disse parameterne kontrollerer oppløsningen og granulariteten av den genererte utgangen.

KSamplerSelect lar deg velge prøvetakingsmetoden for ComfyUI FLUX generering, mens BasicGuider veileder genereringsprosessen basert på den kodede tekstkondisjoneringen og den lastede FLUX UNET forbedret med FLUX LoRA.

Tilfeldig støy genereres ved bruk av RandomNoise, og BasicScheduler planlegger støynivåene (sigmas) for hvert trinn i genereringsprosessen. Disse komponentene introduserer kontrollerte variasjoner og finjusterer detaljene i den endelige utgangen.

SamplerCustomAdvanced samler den tilfeldige støyen, veilederen, valgt sampler, planlagte sigmas, og den tomme latente representasjonen. Gjennom en avansert prøvetakingsprosess genererer den en latent representasjon som representerer tekstprompten, og utnytter kraften til FLUX og FLUX LoRA forbedringen.

Til slutt dekoder VAEDecode den genererte latente representasjonen til den endelige utgangen ved bruk av den lastede FLUX VAE. SaveImage lar deg lagre den genererte utgangen til en spesifisert plassering, og bevare det fantastiske kunstverket som er muliggjort av ComfyUI FLUX LoRA arbeidsflyten.

5.4. ComfyUI Arbeidsflyt: FLUX ControlNet

5.4.1. ComfyUI FLUX ControlNet: Last ned

5.4.2. ComfyUI FLUX ControlNet Online Versjon: ComfyUI FLUX ControlNet

På RunComfy Plattform, vår online versjon forhåndslaster alle nødvendige modeller og noder for deg. I tillegg tilbyr vi høyytelses GPU-maskiner, og sikrer at du kan nyte ComfyUI FLUX ControlNet opplevelsen uten problemer.

5.4.3. ComfyUI FLUX ControlNet Forklaring:

ComfyUI FLUX ControlNet arbeidsflyten demonstrerer integrasjonen av ControlNet med ComfyUI FLUX for forbedret utgangsgenerering. Arbeidsflyten viser to eksempler: dybdebasert kondisjonering og Canny kantbasert kondisjonering.

• UNETLoader: Laster UNET-modellen for bildegenerering.
  • Kontrollpunkt: flux/flux1-dev.sft
• DualCLIPLoader: Laster CLIP-modellen for tekstkoding.
  • Innebygd Modell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Innebygd Modell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategien for CLIP-modellen er flux
• VAELoader: Laster Variasjonell Autoencoder (VAE) modellen for dekoding av latente representasjoner.
  • VAE-modell: flux/ae.sft

I den dybdebaserte arbeidsflyten gjennomgår inputrepresentasjonen forbehandling ved bruk av MiDaS-DepthMapPreprocessor, og genererer et dybdekart. Dybdekartet sendes deretter gjennom ApplyFluxControlNet (Depth) sammen med den lastede FLUX ControlNet for dybdekondisjonering. Den resulterende FLUX ControlNet kondisjonen fungerer som input til XlabsSampler (Depth), sammen med den lastede FLUX UNET, kodet tekstkondisjonering, negativ tekstkondisjonering, og tom latent representasjon. XlabsSampler genererer en latent representasjon basert på disse inputene, som deretter dekodes til den endelige utgangen ved bruk av VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Forbehandler inputbildet for dybdemåling ved bruk av MiDaS.
• LoadFluxControlNet: Laster ControlNet-modellen.
  • Sti: flux-depth-controlnet.safetensors

Tilsvarende i den Canny kantbaserte arbeidsflyten gjennomgår inputrepresentasjonen forbehandling ved bruk av CannyEdgePreprocessor for å generere Canny kanter. Canny kantrepresentasjonen sendes gjennom ApplyFluxControlNet (Canny) sammen med den lastede FLUX ControlNet for Canny kantkondisjonering. Den resulterende FLUX ControlNet kondisjonen fungerer som input til XlabsSampler (Canny), sammen med den lastede FLUX UNET, kodet tekstkondisjonering, negativ tekstkondisjonering, og tom latent representasjon. XlabsSampler genererer en latent representasjon basert på disse inputene, som deretter dekodes til den endelige utgangen ved bruk av VAEDecode.

• CannyEdgePreprocessor (Canny): Forbehandler inputbildet for Canny kantdeteksjon.
• LoadFluxControlNet: Laster ControlNet-modellen.
  • Sti: flux-canny-controlnet.safetensors

ComfyUI FLUX ControlNet arbeidsflyten inkorporerer noder for å laste de nødvendige komponentene (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), kode tekstpromptene (CLIPTextEncodeFlux), opprette tomme latente representasjoner (EmptyLatentImage), og forhåndsvise de genererte og forbehandlede utgangene (PreviewImage).

Ved å utnytte kraften til FLUX ControlNet, muliggjør ComfyUI FLUX ControlNet arbeidsflyten generering av utganger som samsvarer med spesifikk kondisjonering, som dybdekart eller Canny kanter. Dette ekstra nivået av kontroll og veiledning forbedrer fleksibiliteten og presisjonen i genereringsprosessen, og gjør det mulig å skape fantastiske og kontekstuelt relevante utganger ved bruk av ComfyUI FLUX.

5.5. ComfyUI Arbeidsflyt: FLUX Inpainting

5.5.1. ComfyUI FLUX Inpainting: Last ned

5.5.2. ComfyUI FLUX Inpainting Online Versjon: ComfyUI FLUX Inpainting

På RunComfy Plattform, vår online versjon forhåndslaster alle nødvendige modeller og noder for deg. I tillegg tilbyr vi høyytelses GPU-maskiner, og sikrer at du kan nyte ComfyUI FLUX Inpainting opplevelsen uten problemer.

5.5.3. ComfyUI FLUX Inpainting Forklaring:

ComfyUI FLUX Inpainting arbeidsflyten demonstrerer evnen til ComfyUI FLUX til å utføre inpainting, som innebærer å fylle ut manglende eller maskerte områder av en utgang basert på den omkringliggende konteksten og angitte tekstpromptene. Arbeidsflyten begynner med å laste de nødvendige komponentene, inkludert UNET-modellen (UNETLoader), VAE-modellen (VAELoader), og CLIP-modellen (DualCLIPLoader).

• UNETLoader: Laster UNET-modellen for bildegenerering.
  • Kontrollpunkt: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laster CLIP-modellen for tekstkoding.
  • Innebygd Modell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Innebygd Modell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategien for CLIP-modellen er flux
• VAELoader: Laster Variasjonell Autoencoder (VAE) modellen for dekoding av latente representasjoner.
  • VAE-modell: flux/ae.sft

De positive og negative tekstpromptene, som beskriver ønsket innhold og stil for det inpaintede området, kodes ved bruk av CLIPTextEncodes. Den positive tekstkondisjoneringen veiledes videre ved bruk av FluxGuidance for å påvirke ComfyUI FLUX inpainting prosessen.

Inputrepresentasjonen og masken lastes og endres størrelse på ved bruk av LoadAndResizeImage, og sikrer kompatibilitet med ComfyUI FLUX's krav. ImpactGaussianBlurMask anvender Gaussisk uskarphet på masken, og skaper en jevnere overgang mellom det inpaintede området og den originale representasjonen.

InpaintModelConditioning forbereder kondisjoneringen for FLUX inpainting ved å kombinere den veiledede positive tekstkondisjoneringen, kodet negativ tekstkondisjonering, lastet FLUX VAE, lastet og endret størrelse på inputrepresentasjonen, og uskarp maske. Denne kondisjoneringen fungerer som grunnlaget for ComfyUI FLUX inpainting prosessen.

Tilfeldig støy genereres ved bruk av RandomNoise, og prøvetakingsmetoden velges ved bruk av KSamplerSelect. BasicScheduler planlegger støynivåene (sigmas) for ComfyUI FLUX inpainting prosessen, og kontrollerer detaljnivået og klarheten i det inpaintede området.

BasicGuider veileder ComfyUI FLUX inpainting prosessen basert på den forberedte kondisjoneringen og den lastede FLUX UNET. SamplerCustomAdvanced utfører den avanserte prøvetakingsprosessen, og tar den genererte tilfeldige støyen, veilederen, valgt sampler, planlagte sigmas, og latent representasjon av input som input. Den gir ut den inpaintede latente representasjonen.

Til slutt dekoder VAEDecode den inpaintede latente representasjonen til den endelige utgangen, og sømløst blander det inpaintede området med den originale representasjonen. PreviewImage viser den endelige utgangen, og viser de imponerende inpainting evnene til FLUX.

Ved å utnytte kraften til FLUX og den nøye utformede inpainting arbeidsflyten, muliggjør FLUX Inpainting skapelsen av visuelt sammenhengende og kontekstuelt relevante inpaintede utganger. Enten det er å gjenopprette manglende deler, fjerne uønskede objekter, eller endre spesifikke områder, gir ComfyUI FLUX inpainting arbeidsflyten et kraftig verktøy for redigering og manipulering.

5.6. ComfyUI Arbeidsflyt: FLUX NF4

5.6.1. ComfyUI FLUX NF4: Last ned

5.6.2. ComfyUI FLUX NF4 Online Versjon: ComfyUI FLUX NF4

På RunComfy Plattform, vår online versjon forhåndslaster alle nødvendige modeller og noder for deg. I tillegg tilbyr vi høyytelses GPU-maskiner, og sikrer at du kan nyte ComfyUI FLUX NF4 opplevelsen uten problemer.

5.6.3. ComfyUI FLUX NF4 Forklaring:

ComfyUI FLUX NF4 arbeidsflyten viser integrasjonen av ComfyUI FLUX med NF4 (Normalizing Flow 4) arkitekturen for høykvalitets utgangsgenerering. Arbeidsflyten starter med å laste de nødvendige komponentene ved bruk av CheckpointLoaderNF4, som inkluderer FLUX UNET, FLUX CLIP, og FLUX VAE.

• UNETLoader: Laster UNET-modellen for bildegenerering.
  • Kontrollpunkt: TBD

PrimitiveNode (høyde) og PrimitiveNode (bredde) nodene spesifiserer ønsket høyde og bredde på den genererte utgangen. ModelSamplingFlux noden setter prøvetakingsparametrene for ComfyUI FLUX basert på den lastede FLUX UNET og den spesifiserte høyden og bredden.

EmptySD3LatentImage noden oppretter en tom latent representasjon som startpunktet for genereringen. BasicScheduler noden planlegger støynivåene (sigmas) for ComfyUI FLUX genereringsprosessen.

RandomNoise noden genererer tilfeldig støy for ComfyUI FLUX genereringsprosessen. BasicGuider noden veileder genereringsprosessen basert på den kondisjonerte ComfyUI FLUX.

KSamplerSelect noden velger prøvetakingsmetoden for ComfyUI FLUX generering. SamplerCustomAdvanced noden utfører den avanserte prøvetakingsprosessen, og tar den genererte tilfeldige støyen, veilederen, valgt sampler, planlagte sigmas, og tom latent representasjon som input. Den gir ut den genererte latente representasjonen.

VAEDecode noden dekoder den genererte latente representasjonen til den endelige utgangen ved bruk av den lastede FLUX VAE. SaveImage noden lagrer den genererte utgangen til en spesifisert plassering.

For oppskalering brukes UltimateSDUpscale noden. Den tar den genererte utgangen, lastede FLUX, positive og negative kondisjonering for oppskalering, lastede FLUX VAE, og lastede FLUX oppskalering som input. CLIPTextEncode (Upscale Positive Prompt) noden koder den positive tekstprompten for oppskalering. UpscaleModelLoader noden laster FLUX oppskaleringen. UltimateSDUpscale noden utfører oppskaleringsprosessen og gir ut den oppskalerte representasjonen. Til slutt lagrer SaveImage (Upscaled) noden den oppskalerte utgangen til en spesifisert plassering.

Ved å utnytte kraften til ComfyUI FLUX og NF4 arkitekturen, muliggjør ComfyUI FLUX NF4 arbeidsflyten generering av høykvalitets utganger med forbedret troskap og realisme. Den sømløse integrasjonen av ComfyUI FLUX med NF4 arkitekturen gir et kraftig verktøy for å skape fantastiske og fengslende utganger.

5.7. ComfyUI Arbeidsflyt: FLUX IPAdapter

5.7.1. ComfyUI FLUX IPAdapter: Last ned

5.7.2. ComfyUI FLUX IPAdapter Online Versjon: ComfyUI FLUX IPAdapter

På RunComfy Plattform, vår online versjon forhåndslaster alle nødvendige modeller og noder for deg. I tillegg tilbyr vi høyytelses GPU-maskiner, og sikrer at du kan nyte ComfyUI FLUX IPAdapter opplevelsen uten problemer.

5.7.3. ComfyUI FLUX IPAdapter Forklaring:

ComfyUI FLUX IPAdapter arbeidsflyten starter med å laste de nødvendige modellene, inkludert UNET-modellen (UNETLoader), CLIP-modellen (DualCLIPLoader), og VAE-modellen (VAELoader).

De positive og negative tekstpromptene kodes ved bruk av CLIPTextEncodeFlux. Den positive tekstkondisjoneringen brukes til å veilede ComfyUI FLUX genereringsprosessen.

Inputbildet lastes ved bruk av LoadImage. LoadFluxIPAdapter laster IP-Adapteren for FLUX-modellen, som deretter anvendes på den lastede UNET-modellen ved bruk av ApplyFluxIPAdapter. ImageScale skalerer inputbildet til ønsket størrelse før IP-Adapteren anvendes.

• LoadFluxIPAdapter: Laster IP-Adapteren for FLUX-modellen.
  • IP Adapter Modell: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

EmptyLatentImage oppretter en tom latent representasjon som startpunktet for ComfyUI FLUX generering.

XlabsSampler utfører prøvetakingsprosessen, og tar FLUX UNET med anvendt IP-Adapter, kodet positiv og negativ tekstkondisjonering, og tom latent representasjon som input. Den genererer en latent representasjon.

VAEDecode dekoder den genererte latente representasjonen til den endelige utgangen ved bruk av den lastede FLUX VAE. PreviewImage noden viser en forhåndsvisning av den endelige utgangen.

ComfyUI FLUX IPAdapter arbeidsflyten utnytter kraften til ComfyUI FLUX og IP-Adapteren for å generere høykvalitets utganger som samsvarer med de angitte tekstpromptene. Ved å anvende IP-Adapteren på FLUX UNET, muliggjør arbeidsflyten generering av utganger som fanger de ønskede egenskapene og stilen spesifisert i tekstkondisjoneringen.

5.8. ComfyUI Arbeidsflyt: Flux LoRA Trainer

5.8.1. ComfyUI FLUX LoRA Trainer: Last ned

5.8.2. ComfyUI Flux LoRA Trainer Forklaring:

ComfyUI FLUX LoRA Trainer arbeidsflyten består av flere stadier for å trene en LoRA ved bruk av FLUX arkitekturen i ComfyUI.

ComfyUI FLUX Valg og Konfigurasjon: FluxTrainModelSelect noden brukes til å velge komponentene for trening, inkludert UNET, VAE, CLIP, og CLIP tekstkoder. OptimizerConfig noden konfigurerer optimizer-innstillingene for ComfyUI FLUX trening, slik som optimizer-type, læringsrate, og vektforfall. TrainDatasetGeneralConfig og TrainDatasetAdd nodene brukes til å konfigurere treningsdatasettet, inkludert oppløsning, augmentasjonsinnstillinger, og batch-størrelser.

ComfyUI FLUX Treningsinitiering:

InitFluxLoRATraining noden initialiserer LoRA treningsprosessen ved bruk av de valgte komponentene, datasetkonfigurasjonen, og optimizer-innstillingene. FluxTrainValidationSettings noden konfigurerer valideringsinnstillingene for trening, slik som antall valideringsprøver, oppløsning, og batch-størrelse.

ComfyUI FLUX Treningssløyfe: FluxTrainLoop noden utfører treningssløyfen for LoRA, og itererer for et spesifisert antall trinn. Etter hver treningssløyfe, validerer FluxTrainValidate noden den trente LoRA ved bruk av valideringsinnstillingene og genererer valideringsutganger. PreviewImage noden viser en forhåndsvisning av valideringsresultatene. FluxTrainSave noden lagrer den trente LoRA på spesifiserte intervaller.

ComfyUI FLUX Tap Visualisering: VisualizeLoss noden visualiserer treningsavbrudd over løpet av treningen. SaveImage noden lagrer tapsgrafen for videre analyse.

ComfyUI FLUX Valideringsutgangsbehandling: AddLabel og SomethingToString nodene brukes til å legge til etiketter til valideringsutgangene, som indikerer treningsstegene. ImageBatchMulti og ImageConcatFromBatch nodene kombinerer og sammenstiller valideringsutgangene til et enkelt resultat for enklere visualisering.

ComfyUI FLUX Treningsfinalisering: FluxTrainEnd noden fullfører LoRA treningsprosessen og lagrer den trente LoRA. UploadToHuggingFace noden kan brukes til å laste opp den trente LoRA til Hugging Face for deling og videre bruk med ComfyUI FLUX.

5.9. ComfyUI Arbeidsflyt: Flux Latent Upscaler

5.9.1. ComfyUI Flux Latent Upscaler: Last ned

5.9.2. ComfyUI Flux Latent Upscaler Forklaring:

ComfyUI Flux Latent Upscale arbeidsflyten starter med å laste de nødvendige komponentene, inkludert CLIP (DualCLIPLoader), UNET (UNETLoader), og VAE (VAELoader). Tekstprompten kodes ved bruk av CLIPTextEncode noden, og veiledning anvendes ved bruk av FluxGuidance noden.

SDXLEmptyLatentSizePicker+ noden spesifiserer størrelsen på den tomme latente representasjonen, som fungerer som startpunktet for oppskaleringsprosessen i FLUX. Den latente representasjonen behandles deretter gjennom en serie oppskalering- og beskjæringssteg ved bruk av LatentUpscale og LatentCrop nodene.

Oppskaleringsprosessen veiledes av den kodede tekstkondisjoneringen og bruker SamplerCustomAdvanced noden med valgt prøvetakingsmetode (KSamplerSelect) og planlagte støynivåer (BasicScheduler). ModelSamplingFlux noden setter prøvetakingsparametrene.

Den oppskalerte latente representasjonen sammensettes deretter med den originale latente representasjonen ved bruk av LatentCompositeMasked noden og en maske generert av SolidMask og FeatherMask nodene. Støy injiseres i den oppskalerte latente representasjonen ved bruk av InjectLatentNoise+ noden.

Til slutt dekodes den oppskalerte latente representasjonen til den endelige utgangen ved bruk av VAEDecode noden, og smart skarphet anvendes ved bruk av ImageSmartSharpen+ noden. PreviewImage noden viser en forhåndsvisning av den endelige utgangen generert av ComfyUI FLUX.

ComfyUI FLUX Latent Upscaler arbeidsflyten inkluderer også forskjellige matematiske operasjoner ved bruk av SimpleMath+, SimpleMathFloat+, SimpleMathInt+, og SimpleMathPercent+ nodene for å beregne dimensjoner, forhold, og andre parametere for oppskaleringsprosessen.