ComfyUI FLUX: Gids voor Installatie, Workflows zoals FLUX-ControlNet, FLUX-LoRA en FLUX-IPAdapter... en Online Toegang

Hallo, mede AI-enthousiastelingen! 👋 Welkom bij onze inleidende gids over het gebruik van FLUX binnen ComfyUI. FLUX is een baanbrekend model ontwikkeld door Black Forest Labs. 🌟 In deze tutorial gaan we in op de basisprincipes van ComfyUI FLUX, waarbij we laten zien hoe dit krachtige model je creatieve proces kan verbeteren en je kan helpen de grenzen van door AI gegenereerde kunst te verleggen. 🚀

We zullen behandelen:

1. Introductie tot FLUX

2. Verschillende Versies van FLUX

3. FLUX Hardwarevereisten

• 3.1. FLUX.1 [Pro] Hardwarevereisten
• 3.2. FLUX.1 [Dev] Hardwarevereisten
• 3.3. FLUX.1 [Schnell] Hardwarevereisten

4. Hoe FLUX te installeren in ComfyUI

• 4.1. Installeren of Bijwerken van ComfyUI
• 4.2. Downloaden van ComfyUI FLUX Tekst Encoders en CLIP Models
• 4.3. Downloaden van FLUX.1 VAE Model
• 4.4. Downloaden van FLUX.1 UNET Model

5. ComfyUI FLUX Workflow | Download, Online Toegang en Gids

• 5.1. ComfyUI Workflow: FLUX Txt2Img
• 5.2. ComfyUI Workflow: FLUX Img2Img
• 5.3. ComfyUI Workflow: FLUX LoRA
• 5.4. ComfyUI Workflow: FLUX ControlNet
• 5.5. ComfyUI Workflow: FLUX Inpainting
• 5.6. ComfyUI Workflow: FLUX NF4 & Upscale
• 5.7. ComfyUI Workflow: FLUX IPAdapter
• 5.8. ComfyUI Workflow: Flux LoRA Trainer
• 5.9. ComfyUI Workflow: Flux Latent Upscale

1. Introductie tot FLUX

FLUX.1, het baanbrekende AI-model van Black Forest Labs, revolutioneert de manier waarop we afbeeldingen maken van tekstbeschrijvingen. Met zijn ongeëvenaarde vermogen om verbluffend gedetailleerde en complexe afbeeldingen te genereren die nauw aansluiten bij de invoerprompts, onderscheidt FLUX.1 zich van de concurrentie. Het geheim achter het succes van FLUX.1 ligt in zijn unieke hybride architectuur, die verschillende soorten transformerblokken combineert en wordt aangedreven door indrukwekkende 12 miljard parameters. Dit stelt FLUX.1 in staat om visueel aantrekkelijke afbeeldingen te produceren die de tekstbeschrijvingen nauwkeurig weergeven met opmerkelijke precisie.

Een van de meest opwindende aspecten van FLUX.1 is zijn veelzijdigheid in het genereren van afbeeldingen in verschillende stijlen, van fotorealistisch tot artistiek. FLUX.1 heeft zelfs het opmerkelijke vermogen om naadloos tekst in de gegenereerde afbeeldingen te verwerken, een prestatie die veel andere modellen moeilijk kunnen bereiken. Bovendien staat FLUX.1 bekend om zijn uitzonderlijke naleving van prompts, waarbij zowel eenvoudige als complexe beschrijvingen moeiteloos worden verwerkt. Dit heeft ertoe geleid dat FLUX.1 vaak wordt vergeleken met andere bekende modellen zoals Stable Diffusion en Midjourney, waarbij FLUX.1 vaak als de voorkeurskeuze naar voren komt vanwege zijn gebruiksvriendelijke aard en eersteklas resultaten.

De indrukwekkende capaciteiten van FLUX.1 maken het een onmisbaar hulpmiddel voor een breed scala aan toepassingen, van het creëren van verbluffende visuele content en het inspireren van innovatieve ontwerpen tot het faciliteren van wetenschappelijke visualisatie. Het vermogen van FLUX.1 om uiterst gedetailleerde en nauwkeurige afbeeldingen te genereren op basis van tekstbeschrijvingen opent een wereld van mogelijkheden voor creatieve professionals, onderzoekers en enthousiastelingen. Naarmate het veld van door AI gegenereerde beelden blijft evolueren, staat FLUX.1 aan de voorgrond, waarbij het een nieuwe standaard zet voor kwaliteit, veelzijdigheid en gebruiksgemak.

Black Forest Labs, het baanbrekende AI-bedrijf achter de revolutionaire FLUX.1, werd opgericht door Robin Rombach, een gerenommeerde figuur in de AI-industrie die eerder als kernlid van Stability AI diende. Als je meer wilt weten over Black Forest Labs en hun revolutionaire werk met FLUX.1, bezoek dan zeker hun officiële website op https://blackforestlabs.ai/.

2. Verschillende Versies van FLUX

FLUX.1 is beschikbaar in drie verschillende versies, elk ontworpen om te voldoen aan specifieke gebruikersbehoeften:

1. FLUX.1 [pro]: Dit is de topversie die de beste kwaliteit en prestaties biedt, perfect voor professioneel gebruik en high-end projecten.
2. FLUX.1 [dev]: Geoptimaliseerd voor niet-commercieel gebruik, deze versie behoudt een hoge outputkwaliteit terwijl het efficiënter is, waardoor het geweldig is voor ontwikkelaars en enthousiastelingen.
3. FLUX.1 [schnell]: Deze versie draait om snelheid en is lichtgewicht, waardoor het perfect is voor lokale ontwikkeling en persoonlijke projecten. Het is ook open-source en beschikbaar onder de Apache 2.0-licentie, waardoor het toegankelijk is voor een breed scala aan gebruikers.

Naam	HuggingFace repo	Licentie	md5sum
FLUX.1 [pro]	Alleen beschikbaar in onze API.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. FLUX Hardwarevereisten

3.1. FLUX.1 [Pro] Hardwarevereisten

• Aanbevolen GPU: NVIDIA RTX 4090 of gelijkwaardig met 24 GB of meer VRAM. Het model is geoptimaliseerd voor high-end GPU's om zijn complexe operaties aan te kunnen.
• RAM: 32 GB of meer systeemgeheugen.
• Schijfruimte: Ongeveer 30 GB.
• Rekenvereisten: Hoge precisie is vereist; gebruik FP16 (half-precisie) om out-of-memory fouten te voorkomen. Voor de beste resultaten wordt aanbevolen om de fp16 Clip model variant te gebruiken voor maximale kwaliteit.
• Andere Vereisten: Een snelle SSD wordt aanbevolen voor snellere laadtijden en algehele prestaties.

3.2. FLUX.1 [Dev] Hardwarevereisten

• Aanbevolen GPU: NVIDIA RTX 3080/3090 of gelijkwaardig met minimaal 16 GB VRAM. Deze versie is iets soepeler met hardware in vergelijking met het Pro-model, maar vereist nog steeds aanzienlijke GPU-kracht.
• RAM: 16 GB of meer systeemgeheugen.
• Schijfruimte: Ongeveer 25 GB.
• Rekenvereisten: Net als bij Pro, gebruik FP16-modellen, maar met een kleine tolerantie voor lagere precisieberekeningen. Kan fp16 of fp8 Clip-modellen gebruiken, afhankelijk van de capaciteiten van de GPU.
• Andere Vereisten: Een snelle SSD wordt aanbevolen voor optimale prestaties.

3.3. FLUX.1 [Schnell] Hardwarevereisten

• Aanbevolen GPU: NVIDIA RTX 3060/4060 of gelijkwaardig met 12 GB VRAM. Deze versie is geoptimaliseerd voor snellere inferentie en lagere hardware-eisen.
• RAM: 8 GB of meer systeemgeheugen.
• Schijfruimte: Ongeveer 15 GB.
• Rekenvereisten: Deze versie is minder veeleisend en staat fp8 berekeningen toe als het geheugen opraakt. Het is ontworpen om snel en efficiënt te zijn, met een focus op snelheid in plaats van ultrahoge kwaliteit.
• Andere Vereisten: SSD is nuttig maar niet zo cruciaal als in de Pro- en Dev-versies.

4. Hoe FLUX te installeren in ComfyUI

4.1. Installeren of Bijwerken van ComfyUI

Om FLUX.1 effectief te gebruiken binnen de ComfyUI-omgeving, is het cruciaal om ervoor te zorgen dat je de nieuwste versie van ComfyUI hebt geïnstalleerd. Deze versie ondersteunt de noodzakelijke functies en integraties die vereist zijn voor FLUX.1-modellen.

4.2. Downloaden van ComfyUI FLUX Tekst Encoders en CLIP Models

Voor optimale prestaties en nauwkeurige tekst-naar-afbeelding generatie met FLUX.1, moet je specifieke tekstencoders en CLIP-modellen downloaden. De volgende modellen zijn essentieel, afhankelijk van de hardware van je systeem:

Model Bestandsnaam	Grootte	Opmerking	Link
t5xxl_fp16.safetensors	9.79 GB	Voor betere resultaten, als je veel VRAM en RAM hebt (meer dan 32GB RAM).	Download
t5xxl_fp8_e4m3fn.safetensors	4.89 GB	Voor lager geheugengebruik (8-12GB)	Download
clip_l.safetensors	246 MB		Download

Stappen om te Downloaden en Installeren:

1. Download het clip_l.safetensors model.
2. Afhankelijk van het VRAM en RAM van je systeem, download je ofwel t5xxl_fp8_e4m3fn.safetensors (voor lager VRAM) of t5xxl_fp16.safetensors (voor hoger VRAM en RAM).
3. Plaats de gedownloade modellen in de map ComfyUI/models/clip/. Opmerking: Als je eerder SD 3 Medium hebt gebruikt, heb je deze modellen mogelijk al.

4.3. Downloaden van FLUX.1 VAE Model

Het Variational Autoencoder (VAE) model is cruciaal voor het verbeteren van de afbeeldingsgeneratiekwaliteit in FLUX.1. Het volgende VAE-model is beschikbaar voor download:

Bestandsnaam	Grootte	Link
ae.safetensors	335 MB	Download(opens in a new tab)

Stappen om te Downloaden en Installeren:

1. Download het ae.safetensors modelbestand.
2. Plaats het gedownloade bestand in de map ComfyUI/models/vae.
3. Voor eenvoudige identificatie wordt aanbevolen het bestand te hernoemen naar flux_ae.safetensors.

4.4. Downloaden van FLUX.1 UNET Model

Het UNET-model is de ruggengraat voor afbeeldingsynthese in FLUX.1. Afhankelijk van de specificaties van je systeem, kun je kiezen tussen verschillende varianten:

Bestandsnaam	Grootte	Link	Opmerking
flux1-dev.safetensors	23.8GB	Download	Als je veel VRAM en RAM hebt.
flux1-schnell.safetensors	23.8GB	Download	Voor lager geheugengebruik

Stappen om te Downloaden en Installeren:

1. Download het geschikte UNET-model op basis van de geheugenspecificaties van je systeem.
2. Plaats het gedownloade modelbestand in de map ComfyUI/models/unet/.

5. ComfyUI FLUX Workflow | Download, Online Toegang en Gids

We zullen de ComfyUI FLUX Workflow continu bijwerken om je de nieuwste en meest uitgebreide workflows te bieden voor het genereren van verbluffende afbeeldingen met ComfyUI FLUX.

5.1. ComfyUI Workflow: FLUX Txt2Img

5.1.1. ComfyUI FLUX Txt2Img : Download

5.1.2. ComfyUI FLUX Txt2Img Online Versie: ComfyUI FLUX Txt2Img

Op het RunComfy Platform laadt onze online versie alle benodigde modi en nodes voor je vooraf. Bovendien bieden we krachtige GPU-machines aan, zodat je moeiteloos kunt genieten van de ComfyUI FLUX Txt2Img ervaring.

5.1.3. ComfyUI FLUX Txt2Img Uitleg:

De ComfyUI FLUX Txt2Img workflow begint met het laden van de essentiële componenten, waaronder de FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader) en FLUX VAE (VAELoader). Deze vormen de basis van het ComfyUI FLUX afbeeldingsgeneratieproces.

• UNETLoader: Laadt het UNET-model voor afbeeldingsgeneratie.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laadt het CLIP-model voor tekstcodering.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Groepering: De groeperingsstrategie voor het CLIP-model is flux
• VAELoader: Laadt het Variational Autoencoder (VAE) model voor het decoderen van latente representaties.
  • VAE model: flux/ae.sft

De tekstprompt, die de gewenste output beschrijft, wordt gecodeerd met behulp van de CLIPTextEncode. Deze node neemt de tekstprompt als invoer en geeft de gecodeerde tekstconditionering als output, die ComfyUI FLUX tijdens de generatie begeleidt.

Om het ComfyUI FLUX generatieproces te starten, wordt een lege latente representatie gecreëerd met behulp van de EmptyLatentImage. Dit dient als het startpunt waarop ComfyUI FLUX verder bouwt.

De BasicGuider speelt een cruciale rol in het begeleiden van het ComfyUI FLUX generatieproces. Het neemt de gecodeerde tekstconditionering en de geladen FLUX UNET als input, en zorgt ervoor dat de gegenereerde output overeenkomt met de verstrekte tekstbeschrijving.

De KSamplerSelect stelt je in staat de bemonsteringsmethode voor ComfyUI FLUX generatie te kiezen, terwijl de RandomNoise willekeurige ruis genereert als input voor ComfyUI FLUX. De BasicScheduler plant de ruisniveaus (sigmas) voor elke stap in het generatieproces, waarbij het detailniveau en de helderheid van de uiteindelijke output worden gecontroleerd.

De SamplerCustomAdvanced brengt alle componenten van de ComfyUI FLUX Txt2Img workflow samen. Het neemt de willekeurige ruis, begeleider, geselecteerde sampler, geplande sigmas en lege latente representatie als input. Door een geavanceerd bemonsteringsproces genereert het een latente representatie die de tekstprompt vertegenwoordigt.

Tot slot decodeert de VAEDecode de gegenereerde latente representatie in de uiteindelijke output met behulp van de geladen FLUX VAE. De SaveImage stelt je in staat de gegenereerde output op een specifieke locatie op te slaan, waarbij de verbluffende creatie die mogelijk is gemaakt door de ComfyUI FLUX Txt2Img workflow wordt behouden.

5.2. ComfyUI Workflow: FLUX Img2Img

5.2.1. ComfyUI FLUX Img2Img: Download

5.2.2. ComfyUI FLUX Img2Img Online Versie: ComfyUI FLUX Img2Img

Op het RunComfy Platform laadt onze online versie alle benodigde modi en nodes voor je vooraf. Bovendien bieden we krachtige GPU-machines aan, zodat je moeiteloos kunt genieten van de ComfyUI FLUX Img2Img ervaring.

5.2.3. ComfyUI FLUX Img2Img Uitleg:

De ComfyUI FLUX Img2Img workflow bouwt voort op de kracht van ComfyUI FLUX om outputs te genereren op basis van zowel tekstprompts als invoerrepresentaties. Het begint met het laden van de benodigde componenten, waaronder het CLIP-model (DualCLIPLoader), UNET-model (UNETLoader) en VAE-model (VAELoader).

• UNETLoader: Laadt het UNET-model voor afbeeldingsgeneratie.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laadt het CLIP-model voor tekstcodering.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Groepering: De groeperingsstrategie voor het CLIP-model is flux
• VAELoader: Laadt het Variational Autoencoder (VAE) model voor het decoderen van latente representaties.
  • VAE model: flux/ae.sft

De invoerrepresentatie, die dient als het startpunt voor het ComfyUI FLUX Img2Img proces, wordt geladen met behulp van de LoadImage. De ImageScale schaalt vervolgens de invoerrepresentatie naar de gewenste grootte, zodat deze compatibel is met ComfyUI FLUX.

De geschaalde invoerrepresentatie wordt gecodeerd met behulp van de VAEEncode, waarbij deze wordt omgezet in een latente representatie. Deze latente representatie legt de essentiële kenmerken en details van de invoer vast, en biedt een basis waarop ComfyUI FLUX kan werken.

De tekstprompt, die de gewenste aanpassingen of verbeteringen aan de invoer beschrijft, wordt gecodeerd met behulp van de CLIPTextEncode. De FluxGuidance past vervolgens begeleiding toe op de conditionering op basis van de gespecificeerde begeleidingsschaal, en beïnvloedt de sterkte van de invloed van de tekstprompt op de uiteindelijke output.

De ModelSamplingFlux stelt de bemonsteringsparameters in voor ComfyUI FLUX, inclusief de tijdstap-respacing, padding ratio en outputafmetingen. Deze parameters bepalen de granulariteit en resolutie van de gegenereerde output.

De KSamplerSelect stelt je in staat de bemonsteringsmethode voor ComfyUI FLUX generatie te kiezen, terwijl de BasicGuider het generatieproces begeleidt op basis van de gecodeerde tekstconditionering en de geladen FLUX UNET.

Willekeurige ruis wordt gegenereerd met behulp van de RandomNoise, en de BasicScheduler plant de ruisniveaus (sigmas) voor elke stap in het generatieproces. Deze componenten introduceren gecontroleerde variaties en verfijnen de details in de uiteindelijke output.

De SamplerCustomAdvanced brengt de willekeurige ruis, begeleider, geselecteerde sampler, geplande sigmas en de latente representatie van de invoer samen. Door een geavanceerd bemonsteringsproces genereert het een latente representatie die de aanpassingen van de tekstprompt incorporeert, terwijl de essentiële kenmerken van de invoer behouden blijven.

Tot slot decodeert de VAEDecode de gedenoiseerde latente representatie in de uiteindelijke output met behulp van de geladen FLUX VAE. De PreviewImage toont een preview van de gegenereerde output, en laat de verbluffende resultaten zien die zijn bereikt door de ComfyUI FLUX Img2Img workflow.

5.3. ComfyUI Workflow: FLUX LoRA

5.3.1. ComfyUI FLUX LoRA: Download

5.3.2. ComfyUI FLUX LoRA Online Versie: ComfyUI FLUX LoRA

Op het RunComfy Platform laadt onze online versie alle benodigde modi en nodes voor je vooraf. Bovendien bieden we krachtige GPU-machines aan, zodat je moeiteloos kunt genieten van de ComfyUI FLUX LoRA ervaring.

5.3.3. ComfyUI FLUX LoRA Uitleg:

De ComfyUI FLUX LoRA workflow maakt gebruik van de kracht van Low-Rank Adaptation (LoRA) om de prestaties van ComfyUI FLUX te verbeteren. Het begint met het laden van de benodigde componenten, waaronder het UNET-model (UNETLoader), CLIP-model (DualCLIPLoader), VAE-model (VAELoader) en LoRA-model (LoraLoaderModelOnly).

• UNETLoader: Laadt het UNET-model voor afbeeldingsgeneratie.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Laadt het CLIP-model voor tekstcodering.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Groepering: De groeperingsstrategie voor het CLIP-model is flux
• VAELoader: Laadt het Variational Autoencoder (VAE) model voor het decoderen van latente representaties.
  • VAE model: flux/ae.sft
• LoraLoaderModelOnly: Laadt het LoRA (Low-Rank Adaptation) model voor het verbeteren van het UNET-model.
  • LoaderModel: flux/realism_lora.safetensors

De tekstprompt, die de gewenste output beschrijft, wordt gespecificeerd met behulp van de String Literal. De CLIPTextEncode codeert vervolgens de tekstprompt, en genereert de gecodeerde tekstconditionering die het ComfyUI FLUX generatieproces begeleidt.

De FluxGuidance past begeleiding toe op de gecodeerde tekstconditionering, en beïnvloedt de sterkte en richting van ComfyUI FLUX's naleving van de tekstprompt.

Een lege latente representatie, die dient als het startpunt voor generatie, wordt gecreëerd met behulp van de EmptyLatentImage. De breedte en hoogte van de gegenereerde output worden gespecificeerd met behulp van de Int Literal, zodat de gewenste afmetingen van het uiteindelijke resultaat worden verzekerd.

De ModelSamplingFlux stelt de bemonsteringsparameters in voor ComfyUI FLUX, inclusief de padding ratio en tijdstap-respacing. Deze parameters bepalen de resolutie en granulariteit van de gegenereerde output.

De KSamplerSelect stelt je in staat de bemonsteringsmethode voor ComfyUI FLUX generatie te kiezen, terwijl de BasicGuider het generatieproces begeleidt op basis van de gecodeerde tekstconditionering en de geladen FLUX UNET verbeterd met FLUX LoRA.

Willekeurige ruis wordt gegenereerd met behulp van de RandomNoise, en de BasicScheduler plant de ruisniveaus (sigmas) voor elke stap in het generatieproces. Deze componenten introduceren gecontroleerde variaties en verfijnen de details in de uiteindelijke output.

De SamplerCustomAdvanced brengt de willekeurige ruis, begeleider, geselecteerde sampler, geplande sigmas en de lege latente representatie samen. Door een geavanceerd bemonsteringsproces genereert het een latente representatie die de tekstprompt vertegenwoordigt, waarbij gebruik wordt gemaakt van de kracht van FLUX en de FLUX LoRA verbetering.

Tot slot decodeert de VAEDecode de gegenereerde latente representatie in de uiteindelijke output met behulp van de geladen FLUX VAE. De SaveImage stelt je in staat de gegenereerde output op een specifieke locatie op te slaan, waarbij de verbluffende creatie die mogelijk is gemaakt door de ComfyUI FLUX LoRA workflow wordt behouden.

5.4. ComfyUI Workflow: FLUX ControlNet

5.4.1. ComfyUI FLUX ControlNet: Download

5.4.2. ComfyUI FLUX ControlNet Online Versie: ComfyUI FLUX ControlNet

Op het RunComfy Platform laadt onze online versie alle benodigde modi en nodes voor je vooraf. Bovendien bieden we krachtige GPU-machines aan, zodat je moeiteloos kunt genieten van de ComfyUI FLUX ControlNet ervaring.

5.4.3. ComfyUI FLUX ControlNet Uitleg:

De ComfyUI FLUX ControlNet workflow demonstreert de integratie van ControlNet met ComfyUI FLUX voor verbeterde outputgeneratie. De workflow toont twee voorbeelden: diepte-gebaseerde conditionering en Canny edge-gebaseerde conditionering.

• UNETLoader: Laadt het UNET-model voor afbeeldingsgeneratie.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Laadt het CLIP-model voor tekstcodering.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Groepering: De groeperingsstrategie voor het CLIP-model is flux
• VAELoader: Laadt het Variational Autoencoder (VAE) model voor het decoderen van latente representaties.
  • VAE model: flux/ae.sft

In de diepte-gebaseerde workflow ondergaat de invoerrepresentatie voorverwerking met behulp van de MiDaS-DepthMapPreprocessor, waarbij een dieptekaart wordt gegenereerd. De dieptekaart wordt vervolgens doorgegeven aan de ApplyFluxControlNet (Depth) samen met de geladen FLUX ControlNet voor diepteconditionering. De resulterende FLUX ControlNet conditie dient als input voor de XlabsSampler (Depth), samen met de geladen FLUX UNET, gecodeerde tekstconditionering, negatieve tekstconditionering en lege latente representatie. De XlabsSampler genereert een latente representatie op basis van deze inputs, die vervolgens wordt gedecodeerd in de uiteindelijke output met behulp van de VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Verwerkt de invoerafbeelding voor diepteschatting met behulp van MiDaS.
• LoadFluxControlNet: Laadt het ControlNet-model.
  • Pad: flux-depth-controlnet.safetensors

Evenzo, in de Canny edge-gebaseerde workflow ondergaat de invoerrepresentatie voorverwerking met behulp van de CannyEdgePreprocessor om Canny edges te genereren. De Canny edge-representatie wordt doorgegeven aan de ApplyFluxControlNet (Canny) samen met de geladen FLUX ControlNet voor Canny edge-conditionering. De resulterende FLUX ControlNet conditie dient als input voor de XlabsSampler (Canny), samen met de geladen FLUX UNET, gecodeerde tekstconditionering, negatieve tekstconditionering en lege latente representatie. De XlabsSampler genereert een latente representatie op basis van deze inputs, die vervolgens wordt gedecodeerd in de uiteindelijke output met behulp van de VAEDecode.

• CannyEdgePreprocessor (Canny): Verwerkt de invoerafbeelding voor Canny edge-detectie.
• LoadFluxControlNet: Laadt het ControlNet-model.
  • Pad: flux-canny-controlnet.safetensors

De ComfyUI FLUX ControlNet workflow omvat nodes voor het laden van de benodigde componenten (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), het coderen van tekstprompts (CLIPTextEncodeFlux), het creëren van lege latente representaties (EmptyLatentImage) en het voorvertonen van de gegenereerde en voorbewerkte outputs (PreviewImage).

Door gebruik te maken van de kracht van FLUX ControlNet, stelt de ComfyUI FLUX ControlNet workflow je in staat outputs te genereren die aansluiten bij specifieke conditionering, zoals dieptekaarten of Canny edges. Dit extra niveau van controle en begeleiding verbetert de flexibiliteit en precisie van het generatieproces, waardoor verbluffende en contextueel relevante outputs kunnen worden gecreëerd met ComfyUI FLUX.

5.5. ComfyUI Workflow: FLUX Inpainting

5.5.1. ComfyUI FLUX Inpainting: Download

5.5.2. ComfyUI FLUX Inpainting Online Versie: ComfyUI FLUX Inpainting

Op het RunComfy Platform laadt onze online versie alle benodigde modi en nodes voor je vooraf. Bovendien bieden we krachtige GPU-machines aan, zodat je moeiteloos kunt genieten van de ComfyUI FLUX Inpainting ervaring.

5.5.3. ComfyUI FLUX Inpainting Uitleg:

De ComfyUI FLUX Inpainting workflow demonstreert het vermogen van ComfyUI FLUX om inpainting uit te voeren, wat inhoudt dat ontbrekende of gemaskeerde gebieden van een output worden ingevuld op basis van de omringende context en verstrekte tekstprompts. De workflow begint met het laden van de benodigde componenten, waaronder het UNET-model (UNETLoader), VAE-model (VAELoader) en CLIP-model (DualCLIPLoader).

• UNETLoader: Laadt het UNET-model voor afbeeldingsgeneratie.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laadt het CLIP-model voor tekstcodering.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Groepering: De groeperingsstrategie voor het CLIP-model is flux
• VAELoader: Laadt het Variational Autoencoder (VAE) model voor het decoderen van latente representaties.
  • VAE model: flux/ae.sft

De positieve en negatieve tekstprompts, die de gewenste inhoud en stijl voor het ingeschilderde gebied beschrijven, worden gecodeerd met behulp van de CLIPTextEncodes. De positieve tekstconditionering wordt verder begeleid met behulp van de FluxGuidance om het ComfyUI FLUX inpainting proces te beïnvloeden.

De invoerrepresentatie en het masker worden geladen en opnieuw geschaald met behulp van de LoadAndResizeImage, zodat deze compatibel zijn met de vereisten van ComfyUI FLUX. De ImpactGaussianBlurMask past Gaussiaanse vervaging toe op het masker, waardoor een soepelere overgang tussen het ingeschilderde gebied en de originele representatie ontstaat.

De InpaintModelConditioning bereidt de conditionering voor FLUX inpainting voor door de begeleide positieve tekstconditionering, gecodeerde negatieve tekstconditionering, geladen FLUX VAE, geladen en opnieuw geschaalde invoerrepresentatie en vervaagd masker te combineren. Deze conditionering dient als basis voor het ComfyUI FLUX inpainting proces.

Willekeurige ruis wordt gegenereerd met behulp van de RandomNoise, en de bemonsteringsmethode wordt geselecteerd met behulp van de KSamplerSelect. De BasicScheduler plant de ruisniveaus (sigmas) voor het ComfyUI FLUX inpainting proces, en controleert het detailniveau en de helderheid in het ingeschilderde gebied.

De BasicGuider begeleidt het ComfyUI FLUX inpainting proces op basis van de voorbereide conditionering en de geladen FLUX UNET. De SamplerCustomAdvanced voert het geavanceerde bemonsteringsproces uit, en neemt de gegenereerde willekeurige ruis, begeleider, geselecteerde sampler, geplande sigmas en latente representatie van de invoer als input. Het geeft de ingeschilderde latente representatie als output.

Tot slot decodeert de VAEDecode de ingeschilderde latente representatie in de uiteindelijke output, waarbij het ingeschilderde gebied naadloos wordt geïntegreerd met de originele representatie. De PreviewImage toont de uiteindelijke output, en laat de indrukwekkende inpainting capaciteiten van FLUX zien.

Door gebruik te maken van de kracht van FLUX en de zorgvuldig ontworpen inpainting workflow, stelt FLUX Inpainting je in staat om visueel coherente en contextueel relevante ingeschilderde outputs te creëren. Of het nu gaat om het herstellen van ontbrekende delen, het verwijderen van ongewenste objecten of het aanpassen van specifieke gebieden, de ComfyUI FLUX inpainting workflow biedt een krachtig hulpmiddel voor bewerking en manipulatie.

5.6. ComfyUI Workflow: FLUX NF4

5.6.1. ComfyUI FLUX NF4: Download

5.6.2. ComfyUI FLUX NF4 Online Versie: ComfyUI FLUX NF4

Op het RunComfy Platform laadt onze online versie alle benodigde modi en nodes voor je vooraf. Bovendien bieden we krachtige GPU-machines aan, zodat je moeiteloos kunt genieten van de ComfyUI FLUX NF4 ervaring.

5.6.3. ComfyUI FLUX NF4 Uitleg:

De ComfyUI FLUX NF4 workflow laat de integratie van ComfyUI FLUX met de NF4 (Normalizing Flow 4) architectuur zien voor hoogwaardige outputgeneratie. De workflow begint met het laden van de benodigde componenten met behulp van de CheckpointLoaderNF4, waaronder de FLUX UNET, FLUX CLIP en FLUX VAE.

• UNETLoader: Laadt het UNET-model voor afbeeldingsgeneratie.
  • Checkpoint: TBD

De PrimitiveNode (hoogte) en PrimitiveNode (breedte) nodes specificeren de gewenste hoogte en breedte van de gegenereerde output. De ModelSamplingFlux node stelt de bemonsteringsparameters in voor ComfyUI FLUX op basis van de geladen FLUX UNET en de gespecificeerde hoogte en breedte.

De EmptySD3LatentImage node creëert een lege latente representatie als startpunt voor generatie. De BasicScheduler node plant de ruisniveaus (sigmas) voor het ComfyUI FLUX generatieproces.

De RandomNoise node genereert willekeurige ruis voor het ComfyUI FLUX generatieproces. De BasicGuider node begeleidt het generatieproces op basis van de geconditioneerde ComfyUI FLUX.

De KSamplerSelect node selecteert de bemonsteringsmethode voor ComfyUI FLUX generatie. De SamplerCustomAdvanced node voert het geavanceerde bemonsteringsproces uit, en neemt de gegenereerde willekeurige ruis, begeleider, geselecteerde sampler, geplande sigmas en lege latente representatie als input. Het geeft de gegenereerde latente representatie als output.

De VAEDecode node decodeert de gegenereerde latente representatie in de uiteindelijke output met behulp van de geladen FLUX VAE. De SaveImage node slaat de gegenereerde output op een specifieke locatie op.

Voor upscaling wordt de UltimateSDUpscale node gebruikt. Het neemt de gegenereerde output, geladen FLUX, positieve en negatieve conditionering voor upscaling, geladen FLUX VAE en geladen FLUX upscaling als input. De CLIPTextEncode (Upscale Positive Prompt) node codeert de positieve tekstprompt voor upscaling. De UpscaleModelLoader node laadt de FLUX upscaling. De UltimateSDUpscale node voert het upscaling proces uit en geeft de opgeschaalde representatie als output. Tot slot slaat de SaveImage (Upscaled) node de opgeschaalde output op een specifieke locatie op.

Door gebruik te maken van de kracht van ComfyUI FLUX en de NF4 architectuur, stelt de ComfyUI FLUX NF4 workflow je in staat hoogwaardige outputs te genereren met verbeterde getrouwheid en realisme. De naadloze integratie van ComfyUI FLUX met de NF4 architectuur biedt een krachtig hulpmiddel voor het creëren van verbluffende en boeiende outputs.

5.7. ComfyUI Workflow: FLUX IPAdapter

5.7.1. ComfyUI FLUX IPAdapter: Download

5.7.2. ComfyUI FLUX IPAdapter Online Versie: ComfyUI FLUX IPAdapter

Op het RunComfy Platform laadt onze online versie alle benodigde modi en nodes voor je vooraf. Bovendien bieden we krachtige GPU-machines aan, zodat je moeiteloos kunt genieten van de ComfyUI FLUX IPAdapter ervaring.

5.7.3. ComfyUI FLUX IPAdapter Uitleg:

De ComfyUI FLUX IPAdapter workflow begint met het laden van de benodigde modellen, waaronder het UNET-model (UNETLoader), CLIP-model (DualCLIPLoader) en VAE-model (VAELoader).

De positieve en negatieve tekstprompts worden gecodeerd met behulp van de CLIPTextEncodeFlux. De positieve tekstconditionering wordt gebruikt om het ComfyUI FLUX generatieproces te begeleiden.

De invoerafbeelding wordt geladen met behulp van de LoadImage. De LoadFluxIPAdapter laadt de IP-Adapter voor het FLUX-model, die vervolgens wordt toegepast op het geladen UNET-model met behulp van de ApplyFluxIPAdapter. De ImageScale schaalt de invoerafbeelding naar de gewenste grootte voordat de IP-Adapter wordt toegepast.

• LoadFluxIPAdapter: Laadt de IP-Adapter voor het FLUX-model.
  • IP Adapter Model: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

De EmptyLatentImage creëert een lege latente representatie als startpunt voor ComfyUI FLUX generatie.

De XlabsSampler voert het bemonsteringsproces uit, en neemt de FLUX UNET met toegepaste IP-Adapter, gecodeerde positieve en negatieve tekstconditionering en lege latente representatie als input. Het genereert een latente representatie.

De VAEDecode decodeert de gegenereerde latente representatie in de uiteindelijke output met behulp van de geladen FLUX VAE. De PreviewImage node toont een preview van de uiteindelijke output.

De ComfyUI FLUX IPAdapter workflow maakt gebruik van de kracht van ComfyUI FLUX en de IP-Adapter om hoogwaardige outputs te genereren die aansluiten bij de verstrekte tekstprompts. Door de IP-Adapter toe te passen op de FLUX UNET, stelt de workflow je in staat outputs te genereren die de gewenste kenmerken en stijl vastleggen die in de tekstconditionering zijn gespecificeerd.

5.8. ComfyUI Workflow: Flux LoRA Trainer

5.8.1. ComfyUI FLUX LoRA Trainer: Download

5.8.2. ComfyUI Flux LoRA Trainer Uitleg:

De ComfyUI FLUX LoRA Trainer workflow bestaat uit meerdere fasen voor het trainen van een LoRA met behulp van de FLUX architectuur in ComfyUI.

ComfyUI FLUX Selectie en Configuratie: De FluxTrainModelSelect node wordt gebruikt om de componenten voor training te selecteren, waaronder de UNET, VAE, CLIP en CLIP tekstencoder. De OptimizerConfig node configureert de optimizer instellingen voor ComfyUI FLUX training, zoals het type optimizer, de leersnelheid en het gewicht verval. De TrainDatasetGeneralConfig en TrainDatasetAdd nodes worden gebruikt om de training dataset te configureren, inclusief de resolutie, augmentatie-instellingen en batchgroottes.

ComfyUI FLUX Training Initialisatie: De InitFluxLoRATraining node initialiseert het LoRA training proces met behulp van de geselecteerde componenten, datasetconfiguratie en optimizer instellingen. De FluxTrainValidationSettings node configureert de validatie-instellingen voor training, zoals het aantal validatiemonsters, resolutie en batchgrootte.

ComfyUI FLUX Training Loop: De FluxTrainLoop node voert de trainingsloop uit voor de LoRA, waarbij wordt geïtereerd voor een bepaald aantal stappen. Na elke trainingsloop valideert de FluxTrainValidate node de getrainde LoRA met behulp van de validatie-instellingen en genereert validatieoutputs. De PreviewImage node toont een preview van de validatieresultaten. De FluxTrainSave node slaat de getrainde LoRA op gespecificeerde intervallen op.

ComfyUI FLUX Verlies Visualisatie: De VisualizeLoss node visualiseert het training verlies gedurende de training. De SaveImage node slaat de verliesplot op voor verdere analyse.

ComfyUI FLUX Validatie Output Verwerking: De AddLabel en SomethingToString nodes worden gebruikt om labels toe te voegen aan de validatieoutputs, en geven de trainingsstappen aan. De ImageBatchMulti en ImageConcatFromBatch nodes combineren en concateneren de validatieoutputs tot één resultaat voor eenvoudigere visualisatie.

ComfyUI FLUX Training Finalisatie: De FluxTrainEnd node finaliseert het LoRA training proces en slaat de getrainde LoRA op. De UploadToHuggingFace node kan worden gebruikt om de getrainde LoRA naar Hugging Face te uploaden voor delen en verder gebruik met ComfyUI FLUX.

5.9. ComfyUI Workflow: Flux Latent Upscaler

5.9.1. ComfyUI Flux Latent Upscaler: Download

5.9.2. ComfyUI Flux Latent Upscaler Uitleg:

De ComfyUI Flux Latent Upscale workflow begint met het laden van de benodigde componenten, waaronder de CLIP (DualCLIPLoader), UNET (UNETLoader) en VAE (VAELoader). De tekstprompt wordt gecodeerd met behulp van de CLIPTextEncode node, en begeleiding wordt toegepast met behulp van de FluxGuidance node.

De SDXLEmptyLatentSizePicker+ node specificeert de grootte van de lege latente representatie, die dient als het startpunt voor het upscaling proces in FLUX. De latente representatie wordt vervolgens verwerkt door een reeks upscaling en cropping stappen met behulp van de LatentUpscale en LatentCrop nodes.

Het upscaling proces wordt begeleid door de gecodeerde tekstconditionering en gebruikt de SamplerCustomAdvanced node met de geselecteerde bemonsteringsmethode (KSamplerSelect) en geplande ruisniveaus (BasicScheduler). De ModelSamplingFlux node stelt de bemonsteringsparameters in.

De opgeschaalde latente representatie wordt vervolgens samengesteld met de originele latente representatie met behulp van de LatentCompositeMasked node en een masker gegenereerd door de SolidMask en FeatherMask nodes. Ruis wordt geïnjecteerd in de opgeschaalde latente representatie met behulp van de InjectLatentNoise+ node.

Tot slot wordt de opgeschaalde latente representatie gedecodeerd in de uiteindelijke output met behulp van de VAEDecode node, en slimme verscherping wordt toegepast met behulp van de ImageSmartSharpen+ node. De PreviewImage node toont een preview van de uiteindelijke output gegenereerd door ComfyUI FLUX.

De ComfyUI FLUX Latent Upscaler workflow omvat ook verschillende wiskundige operaties met behulp van de SimpleMath+, SimpleMathFloat+, SimpleMathInt+ en SimpleMathPercent+ nodes om afmetingen, verhoudingen en andere parameters voor het upscaling proces te berekenen.