ComfyUI FLUX: Guide til Opsætning, Arbejdsgange som FLUX-ControlNet, FLUX-LoRA og FLUX-IPAdapter... og Online Adgang

Hej, AI-entusiaster! 👋 Velkommen til vores introduktionsguide om brug af FLUX inden for ComfyUI. FLUX er en banebrydende model udviklet af Black Forest Labs. 🌟 I denne tutorial vil vi dykke ned i det grundlæggende ved ComfyUI FLUX, og vise hvordan denne kraftfulde model kan forbedre din kreative proces og hjælpe dig med at skubbe grænserne for AI-genereret kunst. 🚀

Vi vil dække:

1. Introduktion til FLUX

2. Forskellige Versioner af FLUX

3. FLUX Hardware Krav

• 3.1. FLUX.1 [Pro] Hardware Krav
• 3.2. FLUX.1 [Dev] Hardware Krav
• 3.3. FLUX.1 [Schnell] Hardware Krav

4. Hvordan man installerer FLUX i ComfyUI

• 4.1. Installation eller Opdatering af ComfyUI
• 4.2. Download af ComfyUI FLUX Text Encoders og CLIP Models
• 4.3. Download af FLUX.1 VAE Model
• 4.4. Download af FLUX.1 UNET Model

5. ComfyUI FLUX Arbejdsgang | Download, Online Adgang og Guide

• 5.1. ComfyUI Arbejdsgang: FLUX Txt2Img
• 5.2. ComfyUI Arbejdsgang: FLUX Img2Img
• 5.3. ComfyUI Arbejdsgang: FLUX LoRA
• 5.4. ComfyUI Arbejdsgang: FLUX ControlNet
• 5.5. ComfyUI Arbejdsgang: FLUX Inpainting
• 5.6. ComfyUI Arbejdsgang: FLUX NF4 & Upscale
• 5.7. ComfyUI Arbejdsgang: FLUX IPAdapter
• 5.8. ComfyUI Arbejdsgang: Flux LoRA Trainer
• 5.9. ComfyUI Arbejdsgang: Flux Latent Upscale

1. Introduktion til FLUX

FLUX.1, den banebrydende AI-model fra Black Forest Labs, revolutionerer måden vi skaber billeder fra tekstbeskrivelser. Med sin enestående evne til at generere imponerende detaljerede og komplekse billeder, der nøje matcher inputbeskrivelserne, skiller FLUX.1 sig ud fra konkurrenterne. Hemmeligheden bag FLUX.1's succes ligger i dens unikke hybride arkitektur, som kombinerer forskellige typer transformerblokke og drives af imponerende 12 milliarder parametre. Dette gør det muligt for FLUX.1 at producere visuelt fængslende billeder, der præcist repræsenterer tekstbeskrivelserne med bemærkelsesværdig nøjagtighed.

En af de mest spændende aspekter ved FLUX.1 er dens alsidighed i at generere billeder på tværs af forskellige stilarter, fra fotorealistisk til kunstnerisk. FLUX.1 har endda den bemærkelsesværdige evne til problemfrit at inkorporere tekst i de genererede billeder, en bedrift som mange andre modeller kæmper med at opnå. Desuden er FLUX.1 kendt for sin enestående prompt-adherence, der ubesværet håndterer både enkle og komplekse beskrivelser. Dette har ført til, at FLUX.1 ofte sammenlignes med andre kendte modeller som Stable Diffusion og Midjourney, hvor FLUX.1 ofte bliver det foretrukne valg på grund af sin brugervenlighed og topkvalitetsresultater.

De imponerende kapaciteter i FLUX.1 gør den til et uvurderligt værktøj til en bred vifte af applikationer, fra at skabe imponerende visuelt indhold og inspirerende innovative designs til at lette videnskabelig visualisering. FLUX.1's evne til at generere meget detaljerede og nøjagtige billeder fra tekstbeskrivelser åbner en verden af muligheder for kreative fagfolk, forskere og entusiaster. Efterhånden som feltet for AI-genererede billeder fortsætter med at udvikle sig, står FLUX.1 i spidsen og sætter en ny standard for kvalitet, alsidighed og brugervenlighed.

Black Forest Labs, det banebrydende AI-firma bag den revolutionerende FLUX.1, blev grundlagt af Robin Rombach, en kendt figur i AI-industrien, som tidligere var en kerne-medlem af Stability AI. Hvis du er ivrig efter at lære mere om Black Forest Labs og deres revolutionerende arbejde med FLUX.1, så besøg deres officielle hjemmeside på https://blackforestlabs.ai/.

2. Forskellige Versioner af FLUX

FLUX.1 kommer i tre forskellige versioner, hver designet til at imødekomme specifikke brugerbehov:

1. FLUX.1 [pro]: Dette er topmodellen, der tilbyder den bedste kvalitet og ydeevne, perfekt til professionel brug og avancerede projekter.
2. FLUX.1 [dev]: Optimeret til ikke-kommerciel brug, denne version opretholder høj kvalitet output, mens den er mere effektiv, hvilket gør den fantastisk til udviklere og entusiaster.
3. FLUX.1 [schnell]: Denne version handler om hurtighed og letvægtsdesign, hvilket gør den perfekt til lokal udvikling og personlige projekter. Den er også open-source og tilgængelig under Apache 2.0-licensen, så den er tilgængelig for en bred vifte af brugere.

Navn	HuggingFace repo	Licens	md5sum
FLUX.1 [pro]	Kun tilgængelig i vores API.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. FLUX Hardware Krav

3.1. FLUX.1 [Pro] Hardware Krav

• Anbefalet GPU: NVIDIA RTX 4090 eller tilsvarende med 24 GB eller mere VRAM. Modellen er optimeret til high-end GPU'er for at håndtere dens komplekse operationer.
• RAM: 32 GB eller mere systemhukommelse.
• Diskplads: Cirka 30 GB.
• Compute Krav: Høj præcision kræves; brug FP16 (half-precision) for at undgå out-of-memory fejl. For bedste resultater anbefales det at bruge fp16 Clip model varianten for maksimal kvalitet.
• Andre Krav: En hurtig SSD anbefales for hurtigere indlæsningstider og overordnet ydeevne.

3.2. FLUX.1 [Dev] Hardware Krav

• Anbefalet GPU: NVIDIA RTX 3080/3090 eller tilsvarende med mindst 16 GB VRAM. Denne version er lidt mere lempelig med hardware sammenlignet med Pro-modellen, men kræver stadig betydelig GPU-kraft.
• RAM: 16 GB eller mere systemhukommelse.
• Diskplads: Cirka 25 GB.
• Compute Krav: Ligner Pro, brug FP16 modeller, men med en vis tolerance for lavere præcisionsberegninger. Kan bruge fp16 eller fp8 Clip modeller baseret på GPU kapaciteter.
• Andre Krav: En hurtig SSD anbefales for optimal ydeevne.

3.3. FLUX.1 [Schnell] Hardware Krav

• Anbefalet GPU: NVIDIA RTX 3060/4060 eller tilsvarende med 12 GB VRAM. Denne version er optimeret til hurtigere inference og lavere hardwarekrav.
• RAM: 8 GB eller mere systemhukommelse.
• Diskplads: Cirka 15 GB.
• Compute Krav: Denne version er mindre krævende og tillader fp8 beregninger, hvis der mangler hukommelse. Den er designet til at være hurtig og effektiv med fokus på hastighed frem for ultra-høj kvalitet.
• Andre Krav: SSD er nyttig, men ikke så kritisk som i Pro og Dev versioner.

4. Hvordan man installerer FLUX i ComfyUI

4.1. Installation eller Opdatering af ComfyUI

For effektivt at bruge FLUX.1 inden for ComfyUI-miljøet er det afgørende at sikre, at du har den nyeste version af ComfyUI installeret. Denne version understøtter de nødvendige funktioner og integrationer, der kræves for FLUX.1 modeller.

4.2. Download af ComfyUI FLUX Text Encoders og CLIP Models

For optimal ydeevne og nøjagtig tekst-til-billede generering ved brug af FLUX.1, skal du downloade specifikke text encoders og CLIP modeller. Følgende modeller er essentielle, afhængig af dit systems hardware:

Model Filnavn	Størrelse	Bemærkning	Link
t5xxl_fp16.safetensors	9.79 GB	For bedre resultater, hvis du har høj VRAM og RAM (mere end 32GB RAM).	Download
t5xxl_fp8_e4m3fn.safetensors	4.89 GB	For lavere hukommelsesforbrug (8-12GB)	Download
clip_l.safetensors	246 MB		Download

Trin til Download og Installation:

1. Download clip_l.safetensors modellen.
2. Afhængigt af dit systems VRAM og RAM, download enten t5xxl_fp8_e4m3fn.safetensors (for lavere VRAM) eller t5xxl_fp16.safetensors (for højere VRAM og RAM).
3. Placer de downloadede modeller i ComfyUI/models/clip/ mappen. Bemærk: Hvis du tidligere har brugt SD 3 Medium, har du muligvis allerede disse modeller.

4.3. Download af FLUX.1 VAE Model

Variational Autoencoder (VAE) modellen er afgørende for at forbedre billedgenereringskvaliteten i FLUX.1. Følgende VAE model er tilgængelig for download:

Filnavn	Størrelse	Link
ae.safetensors	335 MB	Download(opens in a new tab)

Trin til Download og Installation:

1. Download ae.safetensors modelfilen.
2. Placer den downloadede fil i ComfyUI/models/vae mappen.
3. For nem identifikation anbefales det at omdøbe filen til flux_ae.safetensors.

4.4. Download af FLUX.1 UNET Model

UNET modellen er rygraden for billedsyntese i FLUX.1. Afhængigt af dit systems specifikationer kan du vælge mellem forskellige varianter:

Filnavn	Størrelse	Link	Bemærkning
flux1-dev.safetensors	23.8GB	Download	Hvis du har høj VRAM og RAM.
flux1-schnell.safetensors	23.8GB	Download	For lavere hukommelsesforbrug

Trin til Download og Installation:

1. Download den passende UNET model baseret på dit systems hukommelseskonfiguration.
2. Placer den downloadede modelfil i ComfyUI/models/unet/ mappen.

5. ComfyUI FLUX Arbejdsgang | Download, Online Adgang og Guide

Vi vil løbende opdatere ComfyUI FLUX Arbejdsgang for at give dig de nyeste og mest omfattende arbejdsgange til generering af imponerende billeder ved hjælp af ComfyUI FLUX.

5.1. ComfyUI Arbejdsgang: FLUX Txt2Img

5.1.1. ComfyUI FLUX Txt2Img : Download

5.1.2. ComfyUI FLUX Txt2Img Online Version: ComfyUI FLUX Txt2Img

På RunComfy Platform, vores online version forudindlæser alle nødvendige tilstande og noder for dig. Plus, vi tilbyder højtydende GPU-maskiner, der sikrer, at du kan nyde ComfyUI FLUX Txt2Img oplevelsen ubesværet.

5.1.3. ComfyUI FLUX Txt2Img Forklaring:

ComfyUI FLUX Txt2Img arbejdsgang begynder med at indlæse de essentielle komponenter, herunder FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader) og FLUX VAE (VAELoader). Disse udgør grundlaget for ComfyUI FLUX billedgenereringsprocessen.

• UNETLoader: Indlæser UNET modellen til billedgenerering.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Indlæser CLIP modellen til tekstkodning.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Gruppestrategien for CLIP modellen er flux
• VAELoader: Indlæser Variational Autoencoder (VAE) modellen til dekodning af latente repræsentationer.
  • VAE model: flux/ae.sft

Tekstprompten, der beskriver det ønskede output, kodes ved hjælp af CLIPTextEncode. Denne node tager tekstprompten som input og outputter den kodede tekstkonditionering, som guider ComfyUI FLUX under genereringen.

For at initiere ComfyUI FLUX genereringsprocessen oprettes en tom latent repræsentation ved hjælp af EmptyLatentImage. Dette fungerer som udgangspunkt for ComfyUI FLUX at bygge videre på.

BasicGuider spiller en afgørende rolle i at guide ComfyUI FLUX genereringsprocessen. Den tager den kodede tekstkonditionering og den indlæste FLUX UNET som input og sikrer, at det genererede output stemmer overens med den angivne tekstbeskrivelse.

KSamplerSelect giver dig mulighed for at vælge samplingsmetoden til ComfyUI FLUX generering, mens RandomNoise genererer tilfældig støj som input til ComfyUI FLUX. BasicScheduler planlægger støjniveauerne (sigmas) for hvert trin i genereringsprocessen og kontrollerer detaljegraden og klarheden i det endelige output.

SamplerCustomAdvanced samler alle komponenterne i ComfyUI FLUX Txt2Img arbejdsgangen. Den tager den tilfældige støj, guider, valgte sampler, planlagte sigmas og tomme latente repræsentation som input. Gennem en avanceret samplingsproces genererer den en latent repræsentation, der repræsenterer tekstprompten.

Endelig dekoder VAEDecode den genererede latente repræsentation til det endelige output ved hjælp af den indlæste FLUX VAE. SaveImage giver dig mulighed for at gemme det genererede output til en angivet placering og bevare den imponerende skabelse muliggjort af ComfyUI FLUX Txt2Img arbejdsgangen.

5.2. ComfyUI Arbejdsgang: FLUX Img2Img

5.2.1. ComfyUI FLUX Img2Img: Download

5.2.2. ComfyUI FLUX Img2Img Online Version: ComfyUI FLUX Img2Img

På RunComfy Platform, vores online version forudindlæser alle nødvendige tilstande og noder for dig. Plus, vi tilbyder højtydende GPU-maskiner, der sikrer, at du kan nyde ComfyUI FLUX Img2Img oplevelsen ubesværet.

5.2.3. ComfyUI FLUX Img2Img Forklaring:

ComfyUI FLUX Img2Img arbejdsgang bygger på styrken af ComfyUI FLUX til at generere output baseret på både tekstprompter og inputrepræsentationer. Det starter med at indlæse de nødvendige komponenter, herunder CLIP modellen (DualCLIPLoader), UNET modellen (UNETLoader) og VAE modellen (VAELoader).

• UNETLoader: Indlæser UNET modellen til billedgenerering.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Indlæser CLIP modellen til tekstkodning.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Gruppestrategien for CLIP modellen er flux
• VAELoader: Indlæser Variational Autoencoder (VAE) modellen til dekodning af latente repræsentationer.
  • VAE model: flux/ae.sft

Inputrepræsentationen, der fungerer som udgangspunkt for ComfyUI FLUX Img2Img processen, indlæses ved hjælp af LoadImage. ImageScale skalerer inputrepræsentationen til den ønskede størrelse og sikrer kompatibilitet med ComfyUI FLUX.

Den skalerede inputrepræsentation gennemgår kodning ved hjælp af VAEEncode, som konverterer den til en latent repræsentation. Denne latente repræsentation fanger de væsentlige træk og detaljer i inputtet og giver et grundlag for ComfyUI FLUX at arbejde med.

Tekstprompten, der beskriver de ønskede ændringer eller forbedringer af inputtet, kodes ved hjælp af CLIPTextEncode. FluxGuidance anvender derefter vejledning på konditioneringen baseret på den angivne vejledningsskala, som påvirker styrken af tekstpromptens indflydelse på det endelige output.

ModelSamplingFlux sætter samplingsparametrene for ComfyUI FLUX, inklusive timestep respacing, padding ratio og outputdimensioner. Disse parametre kontrollerer granulariteten og opløsningen af det genererede output.

KSamplerSelect giver dig mulighed for at vælge samplingsmetoden til ComfyUI FLUX generering, mens BasicGuider guider genereringsprocessen baseret på den kodede tekstkonditionering og den indlæste FLUX UNET.

Tilfældig støj genereres ved hjælp af RandomNoise, og BasicScheduler planlægger støjniveauerne (sigmas) for hvert trin i genereringsprocessen. Disse komponenter introducerer kontrollerede variationer og finjusterer detaljerne i det endelige output.

SamplerCustomAdvanced samler den tilfældige støj, guider, valgte sampler, planlagte sigmas og den latente repræsentation af inputtet. Gennem en avanceret samplingsproces genererer den en latent repræsentation, der inkorporerer de ændringer, der er angivet i tekstprompten, samtidig med at de væsentlige træk ved inputtet bevares.

Endelig dekoder VAEDecode den denoised latente repræsentation til det endelige output ved hjælp af den indlæste FLUX VAE. PreviewImage viser en forhåndsvisning af det genererede output og fremviser de imponerende resultater opnået af ComfyUI FLUX Img2Img arbejdsgangen.

5.3. ComfyUI Arbejdsgang: FLUX LoRA

5.3.1. ComfyUI FLUX LoRA: Download

5.3.2. ComfyUI FLUX LoRA Online Version: ComfyUI FLUX LoRA

På RunComfy Platform, vores online version forudindlæser alle nødvendige tilstande og noder for dig. Plus, vi tilbyder højtydende GPU-maskiner, der sikrer, at du kan nyde ComfyUI FLUX LoRA oplevelsen ubesværet.

5.3.3. ComfyUI FLUX LoRA Forklaring:

ComfyUI FLUX LoRA arbejdsgang udnytter kraften af Low-Rank Adaptation (LoRA) til at forbedre ydeevnen af ComfyUI FLUX. Det starter med at indlæse de nødvendige komponenter, herunder UNET modellen (UNETLoader), CLIP modellen (DualCLIPLoader), VAE modellen (VAELoader) og LoRA modellen (LoraLoaderModelOnly).

• UNETLoader: Indlæser UNET modellen til billedgenerering.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Indlæser CLIP modellen til tekstkodning.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Gruppestrategien for CLIP modellen er flux
• VAELoader: Indlæser Variational Autoencoder (VAE) modellen til dekodning af latente repræsentationer.
  • VAE model: flux/ae.sft
• LoraLoaderModelOnly: Indlæser LoRA (Low-Rank Adaptation) modellen til forbedring af UNET modellen.
  • LoaderModel: flux/realism_lora.safetensors

Tekstprompten, der beskriver det ønskede output, specificeres ved hjælp af String Literal. CLIPTextEncode koder derefter tekstprompten og genererer den kodede tekstkonditionering, der guider ComfyUI FLUX genereringsprocessen.

FluxGuidance anvender vejledning på den kodede tekstkonditionering og påvirker styrken og retningen af ComfyUI FLUX's adherence til tekstprompten.

En tom latent repræsentation, der fungerer som udgangspunkt for generering, oprettes ved hjælp af EmptyLatentImage. Bredden og højden af det genererede output specificeres ved hjælp af Int Literal, hvilket sikrer de ønskede dimensioner af det endelige resultat.

ModelSamplingFlux sætter samplingsparametrene for ComfyUI FLUX, inklusive padding ratio og timestep respacing. Disse parametre kontrollerer opløsningen og granulariteten af det genererede output.

KSamplerSelect giver dig mulighed for at vælge samplingsmetoden til ComfyUI FLUX generering, mens BasicGuider guider genereringsprocessen baseret på den kodede tekstkonditionering og den indlæste FLUX UNET forbedret med FLUX LoRA.

Tilfældig støj genereres ved hjælp af RandomNoise, og BasicScheduler planlægger støjniveauerne (sigmas) for hvert trin i genereringsprocessen. Disse komponenter introducerer kontrollerede variationer og finjusterer detaljerne i det endelige output.

SamplerCustomAdvanced samler den tilfældige støj, guider, valgte sampler, planlagte sigmas og den tomme latente repræsentation. Gennem en avanceret samplingsproces genererer den en latent repræsentation, der repræsenterer tekstprompten og udnytter kraften af FLUX og FLUX LoRA forbedringen.

Endelig dekoder VAEDecode den genererede latente repræsentation til det endelige output ved hjælp af den indlæste FLUX VAE. SaveImage giver dig mulighed for at gemme det genererede output til en angivet placering og bevare den imponerende skabelse muliggjort af ComfyUI FLUX LoRA arbejdsgangen.

5.4. ComfyUI Arbejdsgang: FLUX ControlNet

5.4.1. ComfyUI FLUX ControlNet: Download

5.4.2. ComfyUI FLUX ControlNet Online Version: ComfyUI FLUX ControlNet

På RunComfy Platform, vores online version forudindlæser alle nødvendige tilstande og noder for dig. Plus, vi tilbyder højtydende GPU-maskiner, der sikrer, at du kan nyde ComfyUI FLUX ControlNet oplevelsen ubesværet.

5.4.3. ComfyUI FLUX ControlNet Forklaring:

ComfyUI FLUX ControlNet arbejdsgang demonstrerer integrationen af ControlNet med ComfyUI FLUX for forbedret outputgenerering. Arbejdsgangen viser to eksempler: dybdebaseret konditionering og Canny kantbaseret konditionering.

• UNETLoader: Indlæser UNET modellen til billedgenerering.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Indlæser CLIP modellen til tekstkodning.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Gruppestrategien for CLIP modellen er flux
• VAELoader: Indlæser Variational Autoencoder (VAE) modellen til dekodning af latente repræsentationer.
  • VAE model: flux/ae.sft

I den dybdebaserede arbejdsgang gennemgår inputrepræsentationen forbehandling ved hjælp af MiDaS-DepthMapPreprocessor, som genererer et dybdekort. Dybdekortet sendes derefter gennem ApplyFluxControlNet (Depth) sammen med den indlæste FLUX ControlNet til dybdekonditionering. Den resulterende FLUX ControlNet kondition fungerer som input til XlabsSampler (Depth), sammen med den indlæste FLUX UNET, kodede tekstkonditionering, negative tekstkonditionering og tomme latente repræsentation. XlabsSampler genererer en latent repræsentation baseret på disse input, som derefter dekodes til det endelige output ved hjælp af VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Forbehandler inputbilledet til dybdeestimering ved hjælp af MiDaS.
• LoadFluxControlNet: Indlæser ControlNet modellen.
  • Path: flux-depth-controlnet.safetensors

Tilsvarende gennemgår inputrepræsentationen i den Canny kantbaserede arbejdsgang forbehandling ved hjælp af CannyEdgePreprocessor til at generere Canny kanter. Canny kantrepræsentationen sendes gennem ApplyFluxControlNet (Canny) sammen med den indlæste FLUX ControlNet til Canny kantkonditionering. Den resulterende FLUX ControlNet kondition fungerer som input til XlabsSampler (Canny), sammen med den indlæste FLUX UNET, kodede tekstkonditionering, negative tekstkonditionering og tomme latente repræsentation. XlabsSampler genererer en latent repræsentation baseret på disse input, som derefter dekodes til det endelige output ved hjælp af VAEDecode.

• CannyEdgePreprocessor (Canny): Forbehandler inputbilledet til Canny kantdetektion.
• LoadFluxControlNet: Indlæser ControlNet modellen.
  • Path: flux-canny-controlnet.safetensors

ComfyUI FLUX ControlNet arbejdsgang inkorporerer noder til indlæsning af de nødvendige komponenter (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), kodning af tekstprompter (CLIPTextEncodeFlux), oprettelse af tomme latente repræsentationer (EmptyLatentImage) og forhåndsvisning af de genererede og forbehandlede output (PreviewImage).

Ved at udnytte kraften af FLUX ControlNet gør ComfyUI FLUX ControlNet arbejdsgang det muligt at generere output, der stemmer overens med specifik konditionering, såsom dybdekort eller Canny kanter. Dette ekstra niveau af kontrol og vejledning forbedrer fleksibiliteten og præcisionen af genereringsprocessen og muliggør skabelsen af imponerende og kontekstuelt relevante output ved hjælp af ComfyUI FLUX.

5.5. ComfyUI Arbejdsgang: FLUX Inpainting

5.5.1. ComfyUI FLUX Inpainting: Download

5.5.2. ComfyUI FLUX Inpainting Online Version: ComfyUI FLUX Inpainting

På RunComfy Platform, vores online version forudindlæser alle nødvendige tilstande og noder for dig. Plus, vi tilbyder højtydende GPU-maskiner, der sikrer, at du kan nyde ComfyUI FLUX Inpainting oplevelsen ubesværet.

5.5.3. ComfyUI FLUX Inpainting Forklaring:

ComfyUI FLUX Inpainting arbejdsgang demonstrerer evnen af ComfyUI FLUX til at udføre inpainting, som involverer udfyldning af manglende eller maskede områder af et output baseret på den omgivende kontekst og angivne tekstprompter. Arbejdsgangen begynder med at indlæse de nødvendige komponenter, herunder UNET modellen (UNETLoader), VAE modellen (VAELoader) og CLIP modellen (DualCLIPLoader).

• UNETLoader: Indlæser UNET modellen til billedgenerering.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Indlæser CLIP modellen til tekstkodning.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Gruppestrategien for CLIP modellen er flux
• VAELoader: Indlæser Variational Autoencoder (VAE) modellen til dekodning af latente repræsentationer.
  • VAE model: flux/ae.sft

De positive og negative tekstprompter, som beskriver det ønskede indhold og stil for det inpaintede område, kodes ved hjælp af CLIPTextEncodes. Den positive tekstkonditionering guides yderligere ved hjælp af FluxGuidance for at påvirke ComfyUI FLUX inpainting processen.

Inputrepræsentationen og masken indlæses og ændres i størrelse ved hjælp af LoadAndResizeImage, hvilket sikrer kompatibilitet med ComfyUI FLUX's krav. ImpactGaussianBlurMask anvender Gaussian blur på masken og skaber en glattere overgang mellem det inpaintede område og den originale repræsentation.

InpaintModelConditioning forbereder konditioneringen til FLUX inpainting ved at kombinere den guidede positive tekstkonditionering, kodede negative tekstkonditionering, indlæste FLUX VAE, indlæste og ændrede inputrepræsentation og slørede maske. Denne konditionering fungerer som grundlaget for ComfyUI FLUX inpainting processen.

Tilfældig støj genereres ved hjælp af RandomNoise, og samplingsmetoden vælges ved hjælp af KSamplerSelect. BasicScheduler planlægger støjniveauerne (sigmas) for ComfyUI FLUX inpainting processen og kontrollerer detaljegraden og klarheden i det inpaintede område.

BasicGuider guider ComfyUI FLUX inpainting processen baseret på den forberedte konditionering og den indlæste FLUX UNET. SamplerCustomAdvanced udfører den avancerede samplingsproces og tager den genererede tilfældige støj, guider, valgte sampler, planlagte sigmas og den latente repræsentation af inputtet som input. Den outputter den inpaintede latente repræsentation.

Endelig dekoder VAEDecode den inpaintede latente repræsentation til det endelige output og blander problemfrit det inpaintede område med den originale repræsentation. PreviewImage viser en forhåndsvisning af det endelige output og fremviser de imponerende inpainting kapaciteter af FLUX.

Ved at udnytte kraften af FLUX og den omhyggeligt designede inpainting arbejdsgang muliggør FLUX Inpainting skabelsen af visuelt sammenhængende og kontekstuelt relevante inpaintede output. Uanset om det er at genskabe manglende dele, fjerne uønskede objekter eller ændre specifikke områder, giver ComfyUI FLUX inpainting arbejdsgang et kraftfuldt værktøj til redigering og manipulation.

5.6. ComfyUI Arbejdsgang: FLUX NF4

5.6.1. ComfyUI FLUX NF4: Download

5.6.2. ComfyUI FLUX NF4 Online Version: ComfyUI FLUX NF4

På RunComfy Platform, vores online version forudindlæser alle nødvendige tilstande og noder for dig. Plus, vi tilbyder højtydende GPU-maskiner, der sikrer, at du kan nyde ComfyUI FLUX NF4 oplevelsen ubesværet.

5.6.3. ComfyUI FLUX NF4 Forklaring:

ComfyUI FLUX NF4 arbejdsgang viser integrationen af ComfyUI FLUX med NF4 (Normalizing Flow 4) arkitekturen til høj kvalitets outputgenerering. Arbejdsgangen starter med at indlæse de nødvendige komponenter ved hjælp af CheckpointLoaderNF4, som inkluderer FLUX UNET, FLUX CLIP og FLUX VAE.

• UNETLoader: Indlæser UNET modellen til billedgenerering.
  • Checkpoint: TBD

PrimitiveNode (height) og PrimitiveNode (width) noderne specificerer den ønskede højde og bredde af det genererede output. ModelSamplingFlux noden sætter samplingsparametrene for ComfyUI FLUX baseret på den indlæste FLUX UNET og den specificerede højde og bredde.

EmptySD3LatentImage noden opretter en tom latent repræsentation som udgangspunkt for generering. BasicScheduler noden planlægger støjniveauerne (sigmas) for ComfyUI FLUX genereringsprocessen.

RandomNoise noden genererer tilfældig støj til ComfyUI FLUX genereringsprocessen. BasicGuider noden guider genereringsprocessen baseret på den konditionerede ComfyUI FLUX.

KSamplerSelect noden vælger samplingsmetoden til ComfyUI FLUX generering. SamplerCustomAdvanced noden udfører den avancerede samplingsproces og tager den genererede tilfældige støj, guider, valgte sampler, planlagte sigmas og tomme latente repræsentation som input. Den outputter den genererede latente repræsentation.

VAEDecode noden dekoder den genererede latente repræsentation til det endelige output ved hjælp af den indlæste FLUX VAE. SaveImage noden gemmer det genererede output til en angivet placering.

Til opskalering bruges UltimateSDUpscale noden. Den tager det genererede output, indlæste FLUX, positive og negative konditionering til opskalering, indlæste FLUX VAE og indlæste FLUX opskalering som input. CLIPTextEncode (Upscale Positive Prompt) noden koder den positive tekstprompt til opskalering. UpscaleModelLoader noden indlæser FLUX opskalering. UltimateSDUpscale noden udfører opskaleringsprocessen og outputter den opskalerede repræsentation. Endelig gemmer SaveImage (Upscaled) noden det opskalerede output til en angivet placering.

Ved at udnytte kraften af ComfyUI FLUX og NF4 arkitekturen muliggør ComfyUI FLUX NF4 arbejdsgang generering af høj kvalitets output med forbedret troværdighed og realisme. Den problemfrie integration af ComfyUI FLUX med NF4 arkitekturen giver et kraftfuldt værktøj til at skabe imponerende og fængslende output.

5.7. ComfyUI Arbejdsgang: FLUX IPAdapter

5.7.1. ComfyUI FLUX IPAdapter: Download

5.7.2. ComfyUI FLUX IPAdapter Online Version: ComfyUI FLUX IPAdapter

På RunComfy Platform, vores online version forudindlæser alle nødvendige tilstande og noder for dig. Plus, vi tilbyder højtydende GPU-maskiner, der sikrer, at du kan nyde ComfyUI FLUX IPAdapter oplevelsen ubesværet.

5.7.3. ComfyUI FLUX IPAdapter Forklaring:

ComfyUI FLUX IPAdapter arbejdsgang starter med at indlæse de nødvendige modeller, herunder UNET modellen (UNETLoader), CLIP modellen (DualCLIPLoader) og VAE modellen (VAELoader).

De positive og negative tekstprompter kodes ved hjælp af CLIPTextEncodeFlux. Den positive tekstkonditionering bruges til at guide ComfyUI FLUX genereringsprocessen.

Inputbilledet indlæses ved hjælp af LoadImage. LoadFluxIPAdapter indlæser IP-Adapter til FLUX modellen, som derefter anvendes på den indlæste UNET model ved hjælp af ApplyFluxIPAdapter. ImageScale skalerer inputbilledet til den ønskede størrelse før anvendelse af IP-Adapter.

• LoadFluxIPAdapter: Indlæser IP-Adapter til FLUX modellen.
  • IP Adapter Model: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

EmptyLatentImage opretter en tom latent repræsentation som udgangspunkt for ComfyUI FLUX generering.

XlabsSampler udfører samplingsprocessen og tager FLUX UNET med anvendt IP-Adapter, kodede positive og negative tekstkonditionering og tomme latente repræsentation som input. Den genererer en latent repræsentation.

VAEDecode dekoder den genererede latente repræsentation til det endelige output ved hjælp af den indlæste FLUX VAE. PreviewImage noden viser en forhåndsvisning af det endelige output.

ComfyUI FLUX IPAdapter arbejdsgang udnytter kraften af ComfyUI FLUX og IP-Adapter til at generere høj kvalitets output, der stemmer overens med de angivne tekstprompter. Ved at anvende IP-Adapter på FLUX UNET muliggør arbejdsgangen generering af output, der fanger de ønskede karakteristika og stil specificeret i tekstkonditioneringen.

5.8. ComfyUI Arbejdsgang: Flux LoRA Trainer

5.8.1. ComfyUI FLUX LoRA Trainer: Download

5.8.2. ComfyUI Flux LoRA Trainer Forklaring:

ComfyUI FLUX LoRA Trainer arbejdsgang består af flere faser til træning af en LoRA ved hjælp af FLUX arkitekturen i ComfyUI.

ComfyUI FLUX Valg og Konfiguration: FluxTrainModelSelect noden bruges til at vælge komponenterne til træning, inklusive UNET, VAE, CLIP og CLIP tekstkoder. OptimizerConfig noden konfigurerer optimizer indstillingerne til ComfyUI FLUX træning, såsom optimizer type, læringsrate og vægttab. TrainDatasetGeneralConfig og TrainDatasetAdd noderne bruges til at konfigurere træningsdatasættet, inklusive opløsning, augmentationsindstillinger og batch størrelser.

ComfyUI FLUX Træningsinitialisering: InitFluxLoRATraining noden initialiserer LoRA træningsprocessen ved hjælp af de valgte komponenter, datasætk onfiguration og optimizer indstillinger. FluxTrainValidationSettings noden konfigurerer valideringsindstillingerne til træning, såsom antallet af valideringsprøver, opløsning og batch størrelse.

ComfyUI FLUX Træningsloop: FluxTrainLoop noden udfører træningsloopet for LoRA og itererer for et specificeret antal trin. Efter hvert træningsloop validerer FluxTrainValidate noden den trænede LoRA ved hjælp af valideringsindstillingerne og genererer valideringsoutput. PreviewImage noden viser en forhåndsvisning af valideringsresultaterne. FluxTrainSave noden gemmer den trænede LoRA med specificerede intervaller.

ComfyUI FLUX Tab Visualisering: VisualizeLoss noden visualiserer træningstabet over træningsforløbet. SaveImage noden gemmer tabsgrafen til yderligere analyse.

ComfyUI FLUX Valideringsoutput Behandling: AddLabel og SomethingToString noderne bruges til at tilføje labels til valideringsoutput, der angiver træningstrinene. ImageBatchMulti og ImageConcatFromBatch noderne kombinerer og sammenkæder valideringsoutput til et enkelt resultat for lettere visualisering.

ComfyUI FLUX Træningsafslutning: FluxTrainEnd noden afslutter LoRA træningsprocessen og gemmer den trænede LoRA. UploadToHuggingFace noden kan bruges til at uploade den trænede LoRA til Hugging Face for deling og videre brug med ComfyUI FLUX.

5.9. ComfyUI Arbejdsgang: Flux Latent Upscaler

5.9.1. ComfyUI Flux Latent Upscaler: Download

5.9.2. ComfyUI Flux Latent Upscaler Forklaring:

ComfyUI Flux Latent Upscale arbejdsgang starter med at indlæse de nødvendige komponenter, herunder CLIP (DualCLIPLoader), UNET (UNETLoader) og VAE (VAELoader). Tekstprompten kodes ved hjælp af CLIPTextEncode noden, og vejledning anvendes ved hjælp af FluxGuidance noden.

SDXLEmptyLatentSizePicker+ noden specificerer størrelsen af den tomme latente repræsentation, som fungerer som udgangspunkt for opskaleringsprocessen i FLUX. Den latente repræsentation behandles derefter gennem en række opskalerings- og beskærings trin ved hjælp af LatentUpscale og LatentCrop noderne.

Opskaleringsprocessen guides af den kodede tekstkonditionering og bruger SamplerCustomAdvanced noden med den valgte samplingsmetode (KSamplerSelect) og planlagte støjniveauer (BasicScheduler). ModelSamplingFlux noden sætter samplingsparametrene.

Den opskalerede latente repræsentation sammensættes derefter med den originale latente repræsentation ved hjælp af LatentCompositeMasked noden og en maske genereret af SolidMask og FeatherMask noderne. Støj injiceres i den opskalerede latente repræsentation ved hjælp af InjectLatentNoise+ noden.

Endelig dekodes den opskalerede latente repræsentation til det endelige output ved hjælp af VAEDecode noden, og smart skarphed anvendes ved hjælp af ImageSmartSharpen+ noden. PreviewImage noden viser en forhåndsvisning af det endelige output genereret af ComfyUI FLUX.

ComfyUI FLUX Latent Upscaler arbejdsgang inkluderer også forskellige matematiske operationer ved hjælp af SimpleMath+, SimpleMathFloat+, SimpleMathInt+ og SimpleMathPercent+ noderne til at beregne dimensioner, forhold og andre parametre til opskaleringsprocessen.