FLUX NF4 | Accelera la generazione di immagini FLUX

FLUX è un nuovo modello di generazione di immagini sviluppato da . Questo modello FLUX NF4 è stato creato da lllyasviel, visita per favore per maggiori informazioni.

A proposito di FLUX

I modelli FLUX sono pre-caricati su RunComfy, denominati flux/flux-schnell e flux/flux-dev.

• Quando lanciare una Macchina di Media Dimensione su RunComfy: Seleziona il checkpoint flux-schnell, fp8 e clip t5_xxl_fp8 per evitare problemi di memoria insufficiente.
• Quando lanciare una Macchina di Grande Dimensione o superiore su RunComfy: Opta per un grande checkpoint flux-dev, default e un clip alto t5_xxl_fp16.

Per maggiori dettagli, visita: 

Introduzione a FLUX NF4

FLUX NF4 è un checkpoint di modello specializzato progettato per l'ottimizzazione delle prestazioni nei flussi di lavoro di Stable Diffusion. Sviluppato dall'autore lllyasviel, questo modello utilizza la quantizzazione NF4 (Normal Float 4-bit) per migliorare significativamente la velocità di inferenza e ridurre l'uso della memoria rispetto ai modelli tradizionali FP8 (Float 8-bit). FLUX NF4 fa parte di una serie di modelli mirati a migliorare l'efficienza, in particolare sulle nuove architetture GPU come la serie NVIDIA RTX 3000 e 4000. Il modello include funzionalità avanzate come "Distilled CFG Guidance", che perfeziona il processo di generazione delle immagini con prompt più accurati. Su una GPU di fascia alta come la RTX 4090, il modello FLUX regolare impiega circa 50 secondi per generare un'immagine, mentre FLUX NF4 impiega solo circa 13-14 secondi. Questo rende FLUX NF4 accessibile a una gamma più ampia di utenti che potrebbero non avere hardware di alto livello.

Come usare ComfyUI FLUX NF4

1. Caricamento del Modello: CheckpointLoaderNF4

Questo nodo carica il modello FLUX (flux/flux1-dev-bnb-nf4-v2.safetensors). Il modello è responsabile di guidare l'intero processo di generazione delle immagini fornendo il framework sottostante che controlla il comportamento e le caratteristiche delle immagini generate.

2. Generazione di Rumore Casuale: RandomNoise

Questo nodo genera un pattern di rumore casuale, che serve come input iniziale per la generazione delle immagini. Il rumore funge da punto di partenza che verrà trasformato nel risultato finale.

3. Modellazione del Campionamento FLUX: ModelSamplingFlux

Il nodo ModelSamplingFlux regola il comportamento di campionamento del modello in base alla risoluzione e ad altri parametri. Ottimizza l'output del modello, assicurando che la qualità dell'immagine sia mantenuta mentre vengono applicate le trasformazioni. Se preferisci non regolare il comportamento di campionamento, questo nodo può essere bypassato.

4. Impostazione delle Dimensioni dell'Immagine: PrimitiveNode (Larghezza e Altezza)

Questi nodi definiscono le dimensioni dell'immagine (larghezza e altezza), tipicamente impostate a 1024x1024. Le dimensioni specificate influenzano la risoluzione e il livello di dettaglio dell'immagine generata.

5. Condizionamento con Testo CLIP: CLIPTextEncode (Positivo e Negativo)

I nodi CLIPTextEncode codificano i prompt di testo in dati di condizionamento che guidano il processo di generazione delle immagini. I prompt positivi migliorano le caratteristiche desiderate, mentre i prompt negativi sopprimono quelli indesiderati, dandoti controllo sul contenuto e sullo stile dell'output.

6. Applicazione della Guida FLUX: FluxGuidance

Il nodo FluxGuidance applica una scala di guida (es. 3.5) ai dati di condizionamento. Questa scala regola l'influenza dei prompt di testo sul risultato finale, permettendo una messa a punto dell'output generato.

7. Pianificazione con BasicScheduler: BasicScheduler

Questo nodo gestisce la pianificazione del processo di generazione delle immagini, controllando la transizione dal rumore all'immagine finale. I parametri di pianificazione influenzano la velocità e la fluidità con cui l'immagine evolve durante la generazione.

8. Campionamento Personalizzato: SamplerCustomAdvanced

Questo nodo avanzato di campionamento perfeziona l'immagine applicando ulteriori trasformazioni all'immagine latente. Integra il rumore, la guida, il campionatore, le sigme e i dati dell'immagine latente per produrre un output di alta qualità.

9. Decodifica del VAE: VAEDecode

Il nodo VAEDecode decodifica l'immagine latente in un'immagine visiva reale utilizzando un VAE (Variational Autoencoder). Questo passaggio è cruciale per tradurre lo spazio latente astratto in un'immagine visibile e interpretabile.

10. Upscaling dell'Immagine: UpscaleModelLoader e UltimateSDUpscale

Il UpscaleModelLoader carica un modello di upscaling (es. 4x-UltraSharp.pth), e il nodo UltimateSDUpscale applica questo modello per migliorare la risoluzione dell'immagine. Questo passaggio assicura che l'immagine finale sia nitida e dettagliata, anche a risoluzioni più elevate.

Licenza

Visualizza i file delle licenze:

Il modello FLUX.1 [dev] è concesso in licenza da Black Forest Labs, Inc. sotto la FLUX.1 [dev] Non-Commercial License. Copyright Black Forest Labs, Inc.

IN NESSUN CASO BLACK FOREST LABS, INC. SARÀ RESPONSABILE PER QUALSIASI RECLAMO, DANNI O ALTRE RESPONSABILITÀ, SIA IN UN'AZIONE DI CONTRATTO, TORTO O ALTRO, DERIVANTE DA, FUORI O IN CONNESSIONE CON L'USO DI QUESTO MODELLO.