FLUX NF4 | Beschleunigen Sie FLUX ImgGen

FLUX ist ein neues Bildgenerierungsmodell, entwickelt von . Dieses FLUX NF4 Modell wurde von lllyasviel erstellt, bitte besuchen Sie für weitere Informationen.

Über FLUX

Die FLUX-Modelle sind vorinstalliert auf RunComfy, benannt flux/flux-schnell und flux/flux-dev.

• Beim Start einer mittelgroßen RunComfy-Maschine: Wählen Sie den Checkpoint flux-schnell, fp8 und den Clip t5_xxl_fp8, um Speicherprobleme zu vermeiden.
• Beim Start einer großen oder größeren RunComfy-Maschine: Wählen Sie einen großen Checkpoint flux-dev, default und einen hohen Clip t5_xxl_fp16.

Für weitere Details besuchen Sie:

Einführung in FLUX NF4

FLUX NF4 ist ein spezialisiertes Modell-Checkpoint, das für Leistungsoptimierung in Stable Diffusion Workflows entwickelt wurde. Entwickelt vom Autor lllyasviel, nutzt dieses Modell NF4 (Normal Float 4-bit) Quantisierung, um die Inferenzgeschwindigkeit erheblich zu verbessern und den Speicherverbrauch im Vergleich zu traditionellen FP8 (Float 8-bit) Modellen zu reduzieren. FLUX NF4 ist Teil einer Serie von Modellen, die darauf abzielen, die Effizienz zu erhöhen, insbesondere auf neueren GPU-Architekturen wie der NVIDIA RTX 3000 und 4000 Serie. Das Modell umfasst fortschrittliche Funktionen wie "Distilled CFG Guidance", die den Prozess der Bilderzeugung mit genaueren Aufforderungen verfeinert. Auf einer High-End GPU wie der RTX 4090 benötigt das reguläre FLUX-Modell etwa 50 Sekunden, um ein Bild zu erzeugen, während FLUX NF4 nur etwa 13-14 Sekunden benötigt. Dies macht FLUX NF4 für eine breitere Benutzergruppe zugänglich, die möglicherweise nicht über erstklassige Hardware verfügt.

Verwendung von ComfyUI FLUX NF4

1. Laden des Modells: CheckpointLoaderNF4

Dieser Knoten lädt das FLUX-Modell (flux/flux1-dev-bnb-nf4-v2.safetensors). Das Modell ist verantwortlich für die Steuerung des gesamten Bilderzeugungsprozesses, indem es das zugrunde liegende Framework bereitstellt, das das Verhalten und die Eigenschaften der erzeugten Bilder kontrolliert.

2. Erzeugen von Zufallsrauschen: RandomNoise

Dieser Knoten erzeugt ein zufälliges Rauschmuster, das als initialer Input für die Bilderzeugung dient. Das Rauschen dient als Ausgangspunkt, der in ein Endergebnis umgewandelt wird.

3. Modell-Sampling-Flux: ModelSamplingFlux

Der ModelSamplingFlux-Knoten passt das Sampling-Verhalten des Modells basierend auf Auflösung und anderen Parametern an. Er optimiert die Ausgabe des Modells und stellt sicher, dass die Bildqualität erhalten bleibt, während Transformationen angewendet werden. Wenn Sie das Sampling-Verhalten nicht anpassen möchten, kann dieser Knoten umgangen werden.

4. Festlegen der Bildabmessungen: PrimitiveNode (Breite und Höhe)

Diese Knoten definieren die Abmessungen des Bildes (Breite und Höhe), typischerweise auf 1024x1024 gesetzt. Die angegebenen Abmessungen beeinflussen die Auflösung und das Detailniveau des erzeugten Bildes.

5. Konditionierung mit CLIP-Text: CLIPTextEncode (Positiv und Negativ)

Die CLIPTextEncode-Knoten kodieren Textaufforderungen in Konditionierungsdaten, die den Bilderzeugungsprozess steuern. Positive Aufforderungen verbessern gewünschte Merkmale, während negative Aufforderungen unerwünschte unterdrücken, sodass Sie die Kontrolle über den Inhalt und Stil des Outputs haben.

6. Anwenden der Flux-Guidance: FluxGuidance

Der FluxGuidance-Knoten wendet eine Guidance-Skala (z.B. 3.5) auf die Konditionierungsdaten an. Diese Skala passt den Einfluss der Textaufforderungen auf das Endergebnis an und ermöglicht die Feinabstimmung des erzeugten Outputs.

7. Planung mit BasicScheduler: BasicScheduler

Dieser Knoten verwaltet die Planung des Bilderzeugungsprozesses und steuert den Übergang vom Rauschen zum endgültigen Bild. Die Planungsparameter beeinflussen, wie schnell und reibungslos sich das Bild während der Erzeugung entwickelt.

8. Benutzerdefiniertes Sampling: SamplerCustomAdvanced

Dieser erweiterte Sampler-Knoten verfeinert das Bild, indem er zusätzliche Transformationen auf das latente Bild anwendet. Er integriert das Rauschen, die Guidance, den Sampler, die Sigmas und die latenten Bilddaten, um eine hochwertige Ausgabe zu erzeugen.

9. Dekodieren des VAE: VAEDecode

Der VAEDecode-Knoten dekodiert das latente Bild in ein tatsächliches visuelles Bild unter Verwendung eines VAE (Variational Autoencoder). Dieser Schritt ist entscheidend, um den abstrakten latenten Raum in ein sichtbares und interpretierbares Bild zu übersetzen.

10. Hochskalieren des Bildes: UpscaleModelLoader und UltimateSDUpscale

Der UpscaleModelLoader lädt ein Hochskalierungsmodell (z.B. 4x-UltraSharp.pth), und der UltimateSDUpscale-Knoten wendet dieses Modell an, um die Bildauflösung zu verbessern. Dieser Schritt stellt sicher, dass das endgültige Bild scharf und detailliert ist, selbst bei höheren Auflösungen.

Lizenz

Lizenzdateien anzeigen:

Das FLUX.1 [dev] Modell ist von Black Forest Labs. Inc. unter der FLUX.1 [dev] Non-Commercial License lizenziert. Copyright Black Forest Labs. Inc.

IN KEINEM FALL HAFTET BLACK FOREST LABS, INC. FÜR IRGENDEINEN ANSPRUCH, SCHÄDEN ODER ANDERE HAFTUNG, OB IN EINER VERTRAGSKLAGE, UNERLAUBTER HANDLUNG ODER ANDERWEITIG, DIE AUS DER VERWENDUNG DIESES MODELLS ENTSTEHEN.