FLUX NF4 | Versnel FLUX ImgGen

FLUX is een nieuw beeldgeneratiemodel ontwikkeld door . Dit FLUX NF4-model is gemaakt door lllyasviel, bezoek alstublieft voor meer informatie.

Over FLUX

De FLUX-modellen zijn vooraf geladen op RunComfy, genaamd flux/flux-schnell en flux/flux-dev.

• Bij het starten van een RunComfy Medium-Sized Machine: Selecteer het checkpoint flux-schnell, fp8 en clip t5_xxl_fp8 om geheugenproblemen te voorkomen.
• Bij het starten van een RunComfy Large-Sized of Above Machine: Kies voor een groot checkpoint flux-dev, default en een hoge clip t5_xxl_fp16.

Voor meer details, bezoek: 

Inleiding tot FLUX NF4

FLUX NF4 is een gespecialiseerd modelcheckpoint ontworpen voor prestatieoptimalisatie in Stable Diffusion-workflows. Ontwikkeld door de auteur lllyasviel, maakt dit model gebruik van NF4 (Normal Float 4-bit) kwantisering om de inferentiesnelheid aanzienlijk te verbeteren en het geheugengebruik te verminderen in vergelijking met traditionele FP8 (Float 8-bit) modellen. FLUX NF4 maakt deel uit van een reeks modellen die zijn gericht op het verbeteren van de efficiëntie, vooral op nieuwere GPU-architecturen zoals de NVIDIA RTX 3000 en 4000 series. Het model omvat geavanceerde functies zoals "Distilled CFG Guidance", die het proces van beeldgeneratie verfijnt met nauwkeurigere prompts. Op een high-end GPU zoals de RTX 4090 duurt het met het reguliere FLUX-model ongeveer 50 seconden om een afbeelding te genereren, terwijl FLUX NF4 slechts ongeveer 13-14 seconden nodig heeft. Dit maakt FLUX NF4 toegankelijk voor een breder scala aan gebruikers die mogelijk niet over topklasse hardware beschikken.

Hoe ComfyUI FLUX NF4 te gebruiken

1. Het model laden: CheckpointLoaderNF4

Deze node laadt het FLUX-model (flux/flux1-dev-bnb-nf4-v2.safetensors). Het model is verantwoordelijk voor het begeleiden van het hele beeldgeneratieproces door het bieden van het onderliggende raamwerk dat het gedrag en de kenmerken van de gegenereerde beelden controleert.

2. Willekeurige ruis genereren: RandomNoise

Deze node genereert een willekeurig ruispatroon, dat dient als de eerste invoer voor beeldgeneratie. De ruis fungeert als het startpunt dat zal worden getransformeerd in een eindresultaat.

3. Model Sampling Flux: ModelSamplingFlux

De ModelSamplingFlux node past het bemonsteringgedrag van het model aan op basis van resolutie en andere parameters. Het optimaliseert de output van het model, waardoor de beeldkwaliteit behouden blijft terwijl transformaties worden toegepast. Als u de bemonsteringgedrag niet wilt aanpassen, kan deze node worden omzeild.

4. Beelddimensies instellen: PrimitiveNode (Breedte en Hoogte)

Deze nodes definiëren de afmetingen van het beeld (breedte en hoogte), meestal ingesteld op 1024x1024. De opgegeven afmetingen beïnvloeden de resolutie en het detailniveau van het gegenereerde beeld.

5. Conditioneren met CLIP-tekst: CLIPTextEncode (Positief en Negatief)

De CLIPTextEncode-nodes coderen tekstprompts in conditioneringsgegevens die het beeldgeneratieproces sturen. Positieve prompts verbeteren gewenste kenmerken, terwijl negatieve prompts ongewenste onderdrukken, waardoor u controle krijgt over de inhoud en stijl van de output.

6. Flux Guidance toepassen: FluxGuidance

De FluxGuidance node past een geleidingsschaal (bijv. 3.5) toe op de conditioneringsgegevens. Deze schaal past de invloed van de tekstprompts op het eindresultaat aan, waardoor u het gegenereerde output kunt verfijnen.

7. Plannen met BasicScheduler: BasicScheduler

Deze node beheert het plannen van het beeldgeneratieproces, waarbij de overgang van ruis naar het uiteindelijke beeld wordt gecontroleerd. De planningsparameters beïnvloeden hoe snel en soepel het beeld evolueert tijdens de generatie.

8. Aangepaste bemonstering: SamplerCustomAdvanced

Deze geavanceerde bemonsteringsnode verfijnt het beeld door extra transformaties toe te passen op het latente beeld. Het integreert de ruis, geleider, bemonsteraar, sigmas en latente beeldgegevens om een output van hoge kwaliteit te produceren.

9. De VAE decoderen: VAEDecode

De VAEDecode node decodeert het latente beeld in een daadwerkelijk visueel beeld met behulp van een VAE (Variational Autoencoder). Deze stap is cruciaal voor het vertalen van de abstracte latente ruimte naar een zichtbaar en interpreteerbaar beeld.

10. Het beeld opschalen: UpscaleModelLoader en UltimateSDUpscale

De UpscaleModelLoader laadt een opschalingsmodel (bijv. 4x-UltraSharp.pth), en de UltimateSDUpscale node past dit model toe om de beeldresolutie te verbeteren. Deze stap zorgt ervoor dat het uiteindelijke beeld scherp en gedetailleerd is, zelfs bij hogere resoluties.

Licentie

Bekijk licentiebestanden:

Het FLUX.1 [dev] Model is gelicentieerd door Black Forest Labs. Inc. onder de FLUX.1 [dev] Niet-Commerciële Licentie. Copyright Black Forest Labs. Inc.

IN GEEN GEVAL ZAL BLACK FOREST LABS, INC. AANSPRAKELIJK ZIJN VOOR ENIGE CLAIM, SCHADE OF ANDERE AANSPRAKELIJKHEID, HETZIJ IN EEN ACTIE VAN CONTRACT, ONRECHTMATIGE DAAD OF ANDERSZINS, VOORTVLOEIEND UIT OF IN VERBAND MET HET GEBRUIK VAN DIT MODEL.