ComfyUI FLUX: Průvodce nastavením, pracovními postupy jako FLUX-ControlNet, FLUX-LoRA a FLUX-IPAdapter... a online přístup

Ahoj, nadšenci do AI! 👋 Vítejte v našem úvodním průvodci používáním FLUX v rámci ComfyUI. FLUX je špičkový model vyvinutý společností Black Forest Labs. 🌟 V tomto tutoriálu se ponoříme do základů ComfyUI FLUX, ukážeme, jak tento výkonný model může zlepšit váš tvůrčí proces a pomoci vám posunout hranice AI generovaného umění. 🚀

Budeme pokrývat:

1. Úvod do FLUX

2. Různé verze FLUX

3. Hardwarové požadavky FLUX

• 3.1. Hardwarové požadavky FLUX.1 [Pro]
• 3.2. Hardwarové požadavky FLUX.1 [Dev]
• 3.3. Hardwarové požadavky FLUX.1 [Schnell]

4. Jak nainstalovat FLUX v ComfyUI

• 4.1. Instalace nebo aktualizace ComfyUI
• 4.2. Stažení textových enkodérů ComfyUI FLUX a modelů CLIP
• 4.3. Stažení modelu FLUX.1 VAE
• 4.4. Stažení modelu FLUX.1 UNET

5. Pracovní postup ComfyUI FLUX | Stažení, online přístup a průvodce

• 5.1. Pracovní postup ComfyUI: FLUX Txt2Img
• 5.2. Pracovní postup ComfyUI: FLUX Img2Img
• 5.3. Pracovní postup ComfyUI: FLUX LoRA
• 5.4. Pracovní postup ComfyUI: FLUX ControlNet
• 5.5. Pracovní postup ComfyUI: FLUX Inpainting
• 5.6. Pracovní postup ComfyUI: FLUX NF4 & Upscale
• 5.7. Pracovní postup ComfyUI: FLUX IPAdapter
• 5.8. Pracovní postup ComfyUI: Flux LoRA Trainer
• 5.9. Pracovní postup ComfyUI: Flux Latent Upscale

1. Úvod do FLUX

FLUX.1, špičkový AI model od Black Forest Labs, revolucionalizuje způsob, jakým vytváříme obrázky z textových popisů. S jeho bezkonkurenční schopností generovat ohromně detailní a složité obrázky, které přesně odpovídají vstupním výzvám, se FLUX.1 odlišuje od konkurence. Tajemství úspěchu FLUX.1 spočívá v jeho unikátní hybridní architektuře, která kombinuje různé typy transformer bloků a je poháněna impozantními 12 miliardami parametrů. To umožňuje FLUX.1 produkovat vizuálně poutavé obrázky, které přesně reprezentují textové popisy s pozoruhodnou přesností.

Jedním z nejzajímavějších aspektů FLUX.1 je jeho všestrannost v generování obrázků v různých stylech, od fotorealistických po umělecké. FLUX.1 dokonce má pozoruhodnou schopnost bezproblémově začlenit text do generovaných obrázků, což je výkon, se kterým se mnoho jiných modelů potýká. Navíc je FLUX.1 známý svou výjimečnou adherencí k výzvám, snadno zvládá jak jednoduché, tak složité popisy. To vedlo k tomu, že je FLUX.1 často srovnáván s jinými známými modely jako Stable Diffusion a Midjourney, přičemž FLUX.1 často vychází jako preferovaná volba díky své uživatelské přívětivosti a špičkovým výsledkům.

Impozantní schopnosti FLUX.1 z něj činí neocenitelný nástroj pro širokou škálu aplikací, od vytváření ohromujícího vizuálního obsahu a inspirujících inovativních návrhů až po usnadnění vědecké vizualizace. Schopnost FLUX.1 generovat vysoce detailní a přesné obrázky z textových popisů otevírá svět možností pro kreativní profesionály, výzkumníky a nadšence. Jak se pole AI generovaného obrazového materiálu dále vyvíjí, FLUX.1 stojí v popředí, nastavuje nový standard kvality, všestrannosti a snadného použití.

Black Forest Labs, průkopnická AI společnost stojící za průlomovým FLUX.1, byla založena Robinem Rombachem, renomovanou osobností v AI průmyslu, který dříve působil jako klíčový člen Stability AI. Pokud se chcete dozvědět více o Black Forest Labs a jejich revoluční práci s FLUX.1, nezapomeňte navštívit jejich oficiální webovou stránku na adrese https://blackforestlabs.ai/.

2. Různé verze FLUX

FLUX.1 přichází ve třech různých verzích, z nichž každá je navržena tak, aby vyhovovala specifickým potřebám uživatelů:

1. FLUX.1 [pro]: Toto je nejvyšší verze, která nabízí nejlepší kvalitu a výkon, ideální pro profesionální použití a špičkové projekty.
2. FLUX.1 [dev]: Optimalizováno pro nekomerční použití, tato verze si udržuje vysokou kvalitu výstupu při větší efektivitě, což je skvělé pro vývojáře a nadšence.
3. FLUX.1 [schnell]: Tato verze je zaměřena na rychlost a lehkost, což ji činí ideální pro lokální vývoj a osobní projekty. Je také open-source a dostupná pod licencí Apache 2.0, takže je přístupná širokému spektru uživatelů.

Název	HuggingFace repo	Licence	md5sum
FLUX.1 [pro]	K dispozici pouze v našem API.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. Hardwarové požadavky FLUX

3.1. Hardwarové požadavky FLUX.1 [Pro]

• Doporučené GPU: NVIDIA RTX 4090 nebo ekvivalent s 24 GB nebo více VRAM. Model je optimalizován pro špičkové GPU, aby zvládl jeho složité operace.
• RAM: 32 GB nebo více systémové paměti.
• Diskový prostor: Přibližně 30 GB.
• Požadavky na výpočetní výkon: Vyžaduje se vysoká přesnost; použijte FP16 (poloviční přesnost), aby nedošlo k chybám z nedostatku paměti. Pro nejlepší výsledky se doporučuje použít variantu modelu fp16 Clip pro maximální kvalitu.
• Další požadavky: Pro rychlejší načítání a celkový výkon se doporučuje rychlé SSD.

3.2. Hardwarové požadavky FLUX.1 [Dev]

• Doporučené GPU: NVIDIA RTX 3080/3090 nebo ekvivalent s alespoň 16 GB VRAM. Tato verze je o něco tolerantnější k hardwaru ve srovnání s modelem Pro, ale stále vyžaduje značný GPU výkon.
• RAM: 16 GB nebo více systémové paměti.
• Diskový prostor: Přibližně 25 GB.
• Požadavky na výpočetní výkon: Podobné jako u Pro, použijte modely FP16, ale s mírnou tolerancí pro nižší přesnost výpočtů. Můžete použít modely fp16 nebo fp8 Clip v závislosti na schopnostech GPU.
• Další požadavky: Pro optimální výkon se doporučuje rychlé SSD.

3.3. Hardwarové požadavky FLUX.1 [Schnell]

• Doporučené GPU: NVIDIA RTX 3060/4060 nebo ekvivalent s 12 GB VRAM. Tato verze je optimalizována pro rychlejší inferenci a nižší hardwarové nároky.
• RAM: 8 GB nebo více systémové paměti.
• Diskový prostor: Přibližně 15 GB.
• Požadavky na výpočetní výkon: Tato verze je méně náročná a umožňuje výpočty fp8, pokud dochází k nedostatku paměti. Je navržena tak, aby byla rychlá a efektivní, s důrazem na rychlost spíše než na ultra vysokou kvalitu.
• Další požadavky: SSD je užitečné, ale není tak kritické jako u verzí Pro a Dev.

4. Jak nainstalovat FLUX v ComfyUI

4.1. Instalace nebo aktualizace ComfyUI

Pro efektivní použití FLUX.1 v prostředí ComfyUI je nutné zajistit, že máte nainstalovanou nejnovější verzi ComfyUI. Tato verze podporuje potřebné funkce a integrace vyžadované pro modely FLUX.1.

4.2. Stažení textových enkodérů ComfyUI FLUX a modelů CLIP

Pro optimální výkon a přesné generování obrázků z textu pomocí FLUX.1 budete muset stáhnout specifické textové enkodéry a modely CLIP. Následující modely jsou nezbytné, v závislosti na hardwaru vašeho systému:

Název souboru modelu	Velikost	Poznámka	Odkaz
t5xxl_fp16.safetensors	9.79 GB	Pro lepší výsledky, pokud máte vysokou VRAM a RAM (více než 32 GB RAM).	Stáhnout
t5xxl_fp8_e4m3fn.safetensors	4.89 GB	Pro nižší využití paměti (8-12 GB)	Stáhnout
clip_l.safetensors	246 MB		Stáhnout

Kroky ke stažení a instalaci:

1. Stáhněte model clip_l.safetensors.
2. V
3. V závislosti na hardwaru vašeho systému stáhněte buď t5xxl_fp8_e4m3fn.safetensors (pro nižší VRAM) nebo t5xxl_fp16.safetensors (pro vyšší VRAM a RAM).
4. Umístěte stažené modely do adresáře ComfyUI/models/clip/. Poznámka: Pokud jste dříve používali SD 3 Medium, tyto modely již možná máte.

4.3. Stažení modelu FLUX.1 VAE

Model Variational Autoencoder (VAE) je klíčový pro zlepšení kvality generování obrázků ve FLUX.1. Následující model VAE je k dispozici ke stažení:

Název souboru	Velikost	Odkaz
ae.safetensors	335 MB	Stáhnout (otevře se v nové záložce)

Kroky ke stažení a instalaci:

1. Stáhněte soubor modelu ae.safetensors.
2. Umístěte stažený soubor do adresáře ComfyUI/models/vae.
3. Pro snadnou identifikaci se doporučuje přejmenovat soubor na flux_ae.safetensors.

4.4. Stažení modelu FLUX.1 UNET

Model UNET je základem pro syntézu obrázků ve FLUX.1. V závislosti na specifikacích vašeho systému si můžete vybrat mezi různými variantami:

Název souboru	Velikost	Odkaz	Poznámka
flux1-dev.safetensors	23.8GB	Stáhnout	Pokud máte vysokou VRAM a RAM.
flux1-schnell.safetensors	23.8GB	Stáhnout	Pro nižší využití paměti

Kroky ke stažení a instalaci:

1. Stáhněte příslušný model UNET na základě konfigurace paměti vašeho systému.
2. Umístěte stažený soubor modelu do adresáře ComfyUI/models/unet/.

5. Pracovní postup ComfyUI FLUX | Stažení, online přístup a průvodce

Budeme průběžně aktualizovat pracovní postup ComfyUI FLUX, abychom vám poskytli nejnovější a nejkomplexnější pracovní postupy pro generování ohromujících obrázků pomocí ComfyUI FLUX.

5.1. Pracovní postup ComfyUI: FLUX Txt2Img

5.1.1. ComfyUI FLUX Txt2Img : Stáhnout

5.1.2. Online verze ComfyUI FLUX Txt2Img: ComfyUI FLUX Txt2Img

Na platformě RunComfy naše online verze přednačítá všechny potřebné režimy a uzly pro vás. Navíc nabízíme vysoce výkonné GPU stroje, což zajišťuje, že si můžete snadno užít zážitek ComfyUI FLUX Txt2Img.

5.1.3. Vysvětlení ComfyUI FLUX Txt2Img:

Pracovní postup ComfyUI FLUX Txt2Img začíná načtením základních komponent, včetně FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader) a FLUX VAE (VAELoader). Ty tvoří základ procesu generování obrázků ComfyUI FLUX.

• UNETLoader: Načítá model UNET pro generování obrázků.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Načítá model CLIP pro kódování textu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategie seskupování pro model CLIP je flux
• VAELoader: Načítá model Variational Autoencoder (VAE) pro dekódování latentních reprezentací.
  • VAE model: flux/ae.sft

Textový prompt, který popisuje požadovaný výstup, je kódován pomocí CLIPTextEncode. Tento uzel bere textový prompt jako vstup a výstupem je kódovaný textový kondicionér, který vede ComfyUI FLUX během generování.

Pro zahájení procesu generování ComfyUI FLUX je vytvořena prázdná latentní reprezentace pomocí EmptyLatentImage. To slouží jako výchozí bod pro ComfyUI FLUX.

BasicGuider hraje klíčovou roli v řízení procesu generování ComfyUI FLUX. Bere kódovaný textový kondicionér a načtený FLUX UNET jako vstupy, čímž zajišťuje, že generovaný výstup odpovídá poskytnutému textovému popisu.

KSamplerSelect vám umožňuje vybrat metodu vzorkování pro generování ComfyUI FLUX, zatímco RandomNoise generuje náhodný šum jako vstup pro ComfyUI FLUX. BasicScheduler plánuje úrovně šumu (sigmas) pro každý krok v procesu generování, kontroluje úroveň detailů a jasnosti ve finálním výstupu.

SamplerCustomAdvanced spojuje všechny komponenty pracovního postupu ComfyUI FLUX Txt2Img. Bere náhodný šum, guider, vybraný sampler, plánované sigmas a prázdnou latentní reprezentaci jako vstupy. Prostřednictvím pokročilého vzorkovacího procesu generuje latentní reprezentaci, která reprezentuje textový prompt.

Nakonec VAEDecode dekóduje generovanou latentní reprezentaci do finálního výstupu pomocí načteného FLUX VAE. SaveImage vám umožňuje uložit generovaný výstup do specifikovaného umístění, čímž zachovává ohromující výtvor vytvořený pracovním postupem ComfyUI FLUX Txt2Img.

5.2. Pracovní postup ComfyUI: FLUX Img2Img

5.2.1. ComfyUI FLUX Img2Img: Stáhnout

5.2.2. Online verze ComfyUI FLUX Img2Img: ComfyUI FLUX Img2Img

Na platformě RunComfy naše online verze přednačítá všechny potřebné režimy a uzly pro vás. Navíc nabízíme vysoce výkonné GPU stroje, což zajišťuje, že si můžete snadno užít zážitek ComfyUI FLUX Img2Img.

5.2.3. Vysvětlení ComfyUI FLUX Img2Img:

Pracovní postup ComfyUI FLUX Img2Img staví na síle ComfyUI FLUX pro generování výstupů na základě textových promptů i vstupních reprezentací. Začíná načtením potřebných komponent, včetně modelu CLIP (DualCLIPLoader), modelu UNET (UNETLoader) a modelu VAE (VAELoader).

• UNETLoader: Načítá model UNET pro generování obrázků.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Načítá model CLIP pro kódování textu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategie seskupování pro model CLIP je flux
• VAELoader: Načítá model Variational Autoencoder (VAE) pro dekódování latentních reprezentací.
  • VAE model: flux/ae.sft

Vstupní reprezentace, která slouží jako výchozí bod pro proces ComfyUI FLUX Img2Img, je načtena pomocí LoadImage. ImageScale pak škáluje vstupní reprezentaci na požadovanou velikost, čímž zajišťuje kompatibilitu s ComfyUI FLUX.

Škálovaná vstupní reprezentace prochází kódováním pomocí VAEEncode, čímž se převádí do latentní reprezentace. Tato latentní reprezentace zachycuje základní rysy a detaily vstupu, poskytuje základ, na kterém může ComfyUI FLUX pracovat.

Textový prompt, popisující požadované úpravy nebo vylepšení vstupu, je kódován pomocí CLIPTextEncode. FluxGuidance pak aplikuje vedení na kondicionér na základě specifikované škály vedení, což ovlivňuje sílu vlivu textového promptu na finální výstup.

ModelSamplingFlux nastavuje parametry vzorkování pro ComfyUI FLUX, včetně přečasování časových kroků, poměru výplně a rozměrů výstupu. Tyto parametry kontrolují granularitu a rozlišení generovaného výstupu.

KSamplerSelect vám umožňuje vybrat metodu vzorkování pro generování ComfyUI FLUX, zatímco BasicGuider vede proces generování na základě kódovaného textového kondicionéru a načteného FLUX UNET.

Náhodný šum je generován pomocí RandomNoise a BasicScheduler plánuje úrovně šumu (sigmas) pro každý krok v procesu generování. Tyto komponenty zavádějí řízené variace a dolaďují detaily ve finálním výstupu.

SamplerCustomAdvanced spojuje náhodný šum, guider, vybraný sampler, plánované sigmas a latentní reprezentaci vstupu. Prostřednictvím pokročilého vzorkovacího procesu generuje latentní reprezentaci, která zahrnuje specifikované úpravy dle textového promptu a zároveň zachovává základní rysy vstupu.

Nakonec VAEDecode dekóduje denoizovanou latentní reprezentaci do finálního výstupu pomocí načteného FLUX VAE. PreviewImage zobrazuje náhled generovaného výstupu, ukazuje ohromující výsledky dosažené pracovním postupem ComfyUI FLUX Img2Img.

5.3. Pracovní postup ComfyUI: FLUX LoRA

5.3.1. ComfyUI FLUX LoRA: Stáhnout

5.3.2. Online verze ComfyUI FLUX LoRA: ComfyUI FLUX LoRA

Na platformě RunComfy naše online verze přednačítá všechny potřebné režimy a uzly pro vás. Navíc nabízíme vysoce výkonné GPU stroje, což zajišťuje, že si můžete snadno užít zážitek ComfyUI FLUX LoRA.

5.3.3. Vysvětlení ComfyUI FLUX LoRA:

Pracovní postup ComfyUI FLUX LoRA využívá sílu Low-Rank Adaptation (LoRA) k vylepšení výkonu ComfyUI FLUX. Začíná načtením potřebných komponent, včetně modelu UNET (UNETLoader), modelu CLIP (DualCLIPLoader), modelu VAE (VAELoader) a modelu LoRA (LoraLoaderModelOnly).

• UNETLoader: Načítá model UNET pro generování obrázků.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Načítá model CLIP pro kódování textu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategie seskupování pro model CLIP je flux
• VAELoader: Načítá model Variational Autoencoder (VAE) pro dekódování latentních reprezentací.
  • VAE model: flux/ae.sft
• LoraLoaderModelOnly: Načítá model LoRA (Low-Rank Adaptation) pro vylepšení modelu UNET.
  • LoaderModel: flux/realism_lora.safetensors

Textový prompt, který popisuje požadovaný výstup, je specifikován pomocí String Literal. CLIPTextEncode pak kóduje textový prompt, generující kódovaný textový kondicionér, který vede proces generování ComfyUI FLUX.

FluxGuidance aplikuje vedení na kódovaný textový kondicionér, ovlivňuje sílu a směr adherence ComfyUI FLUX k textovému promptu.

Prázdná latentní reprezentace, která slouží jako výchozí bod pro generování, je vytvořena pomocí EmptyLatentImage. Šířka a výška generovaného výstupu jsou specifikovány pomocí Int Literal, čímž se zajistí požadované rozměry finálního výsledku.

ModelSamplingFlux nastavuje parametry vzorkování pro ComfyUI FLUX, včetně poměru výplně a přečasování časových kroků. Tyto parametry kontrolují rozlišení a granularitu generovaného výstupu.

KSamplerSelect vám umožňuje vybrat metodu vzorkování pro generování ComfyUI FLUX, zatímco BasicGuider vede proces generování na základě kódovaného textového kondicionéru a načteného FLUX UNET vylepšeného FLUX LoRA.

Náhodný šum je generován pomocí RandomNoise a BasicScheduler plánuje úrovně šumu (sigmas) pro každý krok v procesu generování. Tyto komponenty zavádějí řízené variace a dolaďují detaily ve finálním výstupu.

SamplerCustomAdvanced spojuje náhodný šum, guider, vybraný sampler, plánované sigmas a prázdnou latentní reprezentaci. Prostřednictvím pokročilého vzorkovacího procesu generuje latentní reprezentaci, která reprezentuje textový prompt a využívá sílu FLUX a vylepšení FLUX LoRA.

Nakonec VAEDecode dekóduje generovanou latentní reprezentaci do finálního výstupu pomocí načteného FLUX VAE. SaveImage vám umožňuje uložit generovaný výstup do specifikovaného umístění, čímž zachovává ohromující výtvor vytvořený pracovním postupem ComfyUI FLUX LoRA.

5.4. Pracovní postup ComfyUI: FLUX ControlNet

5.4.1. ComfyUI FLUX ControlNet: Stáhnout

5.4.2. Online verze ComfyUI FLUX ControlNet: ComfyUI FLUX ControlNet

Na platformě RunComfy naše online verze přednačítá všechny potřebné režimy a uzly pro vás. Navíc nabízíme vysoce výkonné GPU stroje, což zajišťuje, že si můžete snadno užít zážitek ComfyUI FLUX ControlNet.

5.4.3. Vysvětlení ComfyUI FLUX ControlNet:

Pracovní postup ComfyUI FLUX ControlNet ukazuje integraci ControlNet s ComfyUI FLUX pro vylepšené generování výstupů. Pracovní postup ukazuje dva příklady: hloubkové kondicionování a kondicionování pomocí Canny hran.

• UNETLoader: Načítá model UNET pro generování obrázků.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Načítá model CLIP pro kódování textu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategie seskupování pro model CLIP je flux
• VAELoader: Načítá model Variational Autoencoder (VAE) pro dekódování latentních reprezentací.
  • VAE model: flux/ae.sft

V hloubkovém pracovním postupu prochází vstupní reprezentace předzpracováním pomocí MiDaS-DepthMapPreprocessor, čímž se generuje hloubková mapa. Hloubková mapa je pak předána přes ApplyFluxControlNet (Depth) spolu s načteným FLUX ControlNet pro hloubkové kondicionování. Výsledný FLUX ControlNet kondicionér slouží jako vstup pro XlabsSampler (Depth), spolu s načteným FLUX UNET, kódovaným textovým kondicionérem, negativním textovým kondicionérem a prázdnou latentní reprezentací. XlabsSampler generuje latentní reprezentaci na základě těchto vstupů, která je následně dekódována do finálního výstupu pomocí VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Předzpracovává vstupní obrázek pro odhad hloubky pomocí MiDaS.
• LoadFluxControlNet: Načítá model ControlNet.
  • Path: flux-depth-controlnet.safetensors

Podobně v pracovním postupu s Canny hranami prochází vstupní reprezentace předzpracováním pomocí CannyEdgePreprocessor, čímž se generují Canny hrany. Reprezentace Canny hran je předána přes ApplyFluxControlNet (Canny) spolu s načteným FLUX ControlNet pro kondicionování pomocí Canny hran. Výsledný FLUX ControlNet kondicionér slouží jako vstup pro XlabsSampler (Canny), spolu s načteným FLUX UNET, kódovaným textovým kondicionérem, negativním textovým kondicionérem a prázdnou latentní reprezentací. XlabsSampler generuje latentní reprezentaci na základě těchto vstupů, která je následně dekódována do finálního výstupu pomocí VAEDecode.

• CannyEdgePreprocessor (Canny): Předzpracovává vstupní obrázek pro detekci Canny hran.
• LoadFluxControlNet: Načítá model ControlNet.
  • Path: flux-canny-controlnet.safetensors

Pracovní postup ComfyUI FLUX ControlNet zahrnuje uzly pro načítání potřebných komponent (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), kódování textových promptů (CLIPTextEncodeFlux), vytváření prázdných latentních reprezentací (EmptyLatentImage) a náhled generovaných a předzpracovaných výstupů (PreviewImage).

Díky využití síly FLUX ControlNet umožňuje pracovní postup ComfyUI FLUX ControlNet generování výstupů, které odpovídají specifickým kondicionérům, jako jsou hloubkové mapy nebo Canny hrany. Tato dodatečná úroveň kontroly a vedení zvyšuje flexibilitu a přesnost procesu generování, což umožňuje tvorbu ohromujících a kontextově relevantních výstupů pomocí ComfyUI FLUX.

5.5. Pracovní postup ComfyUI: FLUX Inpainting

5.5.1. ComfyUI FLUX Inpainting: Stáhnout

5.5.2. Online verze ComfyUI FLUX Inpainting: ComfyUI FLUX Inpainting

Na platformě RunComfy naše online verze přednačítá všechny potřebné režimy a uzly pro vás. Navíc nabízíme vysoce výkonné GPU stroje, což zajišťuje, že si můžete snadno užít zážitek ComfyUI FLUX Inpainting.

5.5.3. Vysvětlení ComfyUI FLUX Inpainting:

Pracovní postup ComfyUI FLUX Inpainting ukazuje schopnost ComfyUI FLUX provádět inpainting, což zahrnuje vyplňování chybějících nebo maskovaných oblastí výstupu na základě okolního kontextu a poskytnutých textových promptů. Pracovní postup začíná načtením potřebných komponent, včetně modelu UNET (UNETLoader), modelu VAE (VAELoader) a modelu CLIP (DualCLIPLoader).

• UNETLoader: Načítá model UNET pro generování obrázků.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Načítá model CLIP pro kódování textu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategie seskupování pro model CLIP je flux
• VAELoader: Načítá model Variational Autoencoder (VAE) pro dekódování latentních reprezentací.
  • VAE model: flux/ae.sft

Pozitivní a negativní textové prompty, které popisují požadovaný obsah a styl pro inpaintovanou oblast, jsou kódovány pomocí CLIPTextEncodes. Pozitivní textový kondicionér je dále veden pomocí FluxGuidance, aby ovlivnil proces inpaintingu ComfyUI FLUX.

Vstupní reprezentace a maska jsou načteny a změněny velikostí pomocí LoadAndResizeImage, čímž se zajistí kompatibilita s požadavky ComfyUI FLUX. ImpactGaussianBlurMask aplikuje Gaussovo rozostření na masku, čímž vytváří plynulejší přechod mezi inpaintovanou oblastí a původní reprezentací.

InpaintModelConditioning připravuje kondicionér pro inpainting FLUX kombinací vedeného pozitivního textového kondicionéru, kódovaného negativního textového kondicionéru, načteného FLUX VAE, načtené a změněné velikosti vstupní reprezentace a rozostřené masky. Tento kondicionér slouží jako základ pro proces inpaintingu ComfyUI FLUX.

Náhodný šum je generován pomocí RandomNoise a metoda vzorkování je vybrána pomocí KSamplerSelect. BasicScheduler plánuje úrovně šumu (sigmas) pro proces inpaintingu ComfyUI FLUX, kontroluje úroveň detailů a jasnosti v inpaintované oblasti.

BasicGuider vede proces inpaintingu ComfyUI FLUX na základě připraveného kondicionéru a načteného FLUX UNET. SamplerCustomAdvanced provádí pokročilý vzorkovací proces, bere generovaný náhodný šum, guider, vybraný sampler, plánované sigmas a latentní reprezentaci vstupu jako vstupy. Výstupem je inpaintovaná latentní reprezentace.

Nakonec VAEDecode dekóduje inpaintovanou latentní reprezentaci do finálního výstupu, čímž plynule spojuje inpaintovanou oblast s původní reprezentací. PreviewImage zobrazuje náhled finálního výstupu, ukazuje ohromující schopnosti inpaintingu FLUX.

Díky využití síly FLUX a pečlivě navrženému pracovnímu postupu inpaintingu umožňuje FLUX Inpainting tvorbu vizuálně koherentních a kontextově relevantních inpaintovaných výstupů. Ať už jde o obnovení chybějících částí, odstranění nežádoucích objektů nebo úpravu specifických oblastí, pracovní postup inpaintingu ComfyUI FLUX poskytuje výkonný nástroj pro úpravy a manipulaci.

5.6. Pracovní postup ComfyUI: FLUX NF4

5.6.1. ComfyUI FLUX NF4: Stáhnout

5.6.2. Online verze ComfyUI FLUX NF4: ComfyUI FLUX NF4

Na platformě RunComfy naše online verze přednačítá všechny potřebné režimy a uzly pro vás. Navíc nabízíme vysoce výkonné GPU stroje, což zajišťuje, že si můžete snadno užít zážitek ComfyUI FLUX NF4.

5.6.3. Vysvětlení ComfyUI FLUX NF4:

Pracovní postup ComfyUI FLUX NF4 ukazuje integraci ComfyUI FLUX s architekturou NF4 (Normalizing Flow 4) pro vysoce kvalitní generování výstupů. Pracovní postup začíná načtením potřebných komponent pomocí CheckpointLoaderNF4, které zahrnují FLUX UNET, FLUX CLIP a FLUX VAE.

• UNETLoader: Načítá model UNET pro generování obrázků.
  • Checkpoint: TBD

Uzly PrimitiveNode (height) a PrimitiveNode (width) specifikují požadovanou výšku a šířku generovaného výstupu. Uzel ModelSamplingFlux nastavuje parametry vzorkování pro ComfyUI FLUX na základě načteného FLUX UNET a specifikované výšky a šířky.

Uzel EmptySD3LatentImage vytváří prázdnou latentní reprezentaci jako výchozí bod pro generování. Uzel BasicScheduler plánuje úrovně šumu (sigmas) pro proces generování ComfyUI FLUX.

Uzel RandomNoise generuje náhodný šum pro proces generování ComfyUI FLUX. Uzel BasicGuider vede proces generování na základě kondicionovaného ComfyUI FLUX.

Uzel KSamplerSelect vybírá metodu vzorkování pro generování ComfyUI FLUX. Uzel SamplerCustomAdvanced provádí pokročilý vzorkovací proces, bere generovaný náhodný šum, guider, vybraný sampler, plánované sigmas a prázdnou latentní reprezentaci jako vstupy. Výstupem je generovaná latentní reprezentace.

Uzel VAEDecode dekóduje generovanou latentní reprezentaci do finálního výstupu pomocí načteného FLUX VAE. Uzel SaveImage ukládá generovaný výstup do specifikovaného umístění.

Pro upscale je použit uzel UltimateSDUpscale. Bere generovaný výstup, načtený FLUX, pozitivní a negativní kondicionér pro upscale, načtený FLUX VAE a načtený FLUX upscale jako vstupy. Uzel CLIPTextEncode (Upscale Positive Prompt) kóduje pozitivní textový prompt pro upscale. Uzel UpscaleModelLoader načítá FLUX upscale. Uzel UltimateSDUpscale provádí proces upscale a výstupem je upscale reprezentace. Nakonec uzel SaveImage (Upscaled) ukládá upscale výstup do specifikovaného umístění.

Díky využití síly ComfyUI FLUX a architektury NF4 umožňuje pracovní postup ComfyUI FLUX NF4 generování vysoce kvalitních výstupů s vylepšenou věrností a realismem. Bezproblémová integrace ComfyUI FLUX s architekturou NF4 poskytuje výkonný nástroj pro tvorbu ohromujících a poutavých výstupů.

5.7. Pracovní postup ComfyUI: FLUX IPAdapter

5.7.1. ComfyUI FLUX IPAdapter: Stáhnout

5.7.2. Online verze ComfyUI FLUX IPAdapter: ComfyUI FLUX IPAdapter

Na platformě RunComfy naše online verze přednačítá všechny potřebné režimy a uzly pro vás. Navíc nabízíme vysoce výkonné GPU stroje, což zajišťuje, že si můžete snadno užít zážitek ComfyUI FLUX IPAdapter.

5.7.3. Vysvětlení ComfyUI FLUX IPAdapter:

Pracovní postup ComfyUI FLUX IPAdapter začíná načtením potřebných modelů, včetně modelu UNET (UNETLoader), modelu CLIP (DualCLIPLoader) a modelu VAE (VAELoader).

Pozitivní a negativní textové prompty jsou kódovány pomocí CLIPTextEncodeFlux. Pozitivní textový kondicionér je použit k vedení procesu generování ComfyUI FLUX.

Vstupní obrázek je načten pomocí LoadImage. LoadFluxIPAdapter načítá IP-Adapter pro model FLUX, který je pak aplikován na načtený model UNET pomocí ApplyFluxIPAdapter. ImageScale škáluje vstupní obrázek na požadovanou velikost před aplikací IP-Adapter.

• LoadFluxIPAdapter: Načítá IP-Adapter pro model FLUX.
  • IP Adapter Model: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

EmptyLatentImage vytváří prázdnou latentní reprezentaci jako výchozí bod pro generování ComfyUI FLUX.

XlabsSampler provádí proces vzorkování, bere FLUX UNET s aplikovaným IP-Adapter, kódovaný pozitivní a negativní textový kondicionér a prázdnou latentní reprezentaci jako vstupy. Generuje latentní reprezentaci.

VAEDecode dekóduje generovanou latentní reprezentaci do finálního výstupu pomocí načteného FLUX VAE. Uzel PreviewImage zobrazuje náhled finálního výstupu.

Pracovní postup ComfyUI FLUX IPAdapter využívá sílu ComfyUI FLUX a IP-Adapter pro generování vysoce kvalitních výstupů, které odpovídají poskytnutým textovým promptům. Aplikací IP-Adapter na FLUX UNET umožňuje pracovní postup generování výstupů, které zachycují požadované charakteristiky a styl specifikovaný v textovém kondicionéru.

5.8. Pracovní postup ComfyUI: Flux LoRA Trainer

5.8.1. ComfyUI FLUX LoRA Trainer: Stáhnout

5.8.2. Vysvětlení ComfyUI Flux LoRA Trainer:

Pracovní postup ComfyUI FLUX LoRA Trainer se skládá z několika fází pro trénink LoRA pomocí architektury FLUX v ComfyUI.

Výběr a konfigurace modelu ComfyUI FLUX: Uzly FluxTrainModelSelect se používají k výběru komponent pro trénink, včetně UNET, VAE, CLIP a textového enkodéru CLIP. Uzly OptimizerConfig konfigurují nastavení optimalizátoru pro trénink ComfyUI FLUX, jako je typ optimalizátoru, rychlost učení a úbytek hmotnosti. Uzly TrainDatasetGeneralConfig a TrainDatasetAdd se používají k konfiguraci tréninkového datasetu, včetně rozlišení, nastavení augmentace a velikostí batch.

Inicializace tréninku ComfyUI FLUX: Uzel InitFluxLoRATraining inicializuje proces tréninku LoRA pomocí vybraných komponent, konfigurace datasetu a nastavení optimalizátoru. Uzel FluxTrainValidationSettings konfigurují nastavení validace pro trénink, jako je počet validovaných vzorků, rozlišení a velikost batch.

Tréninková smyčka ComfyUI FLUX: Uzel FluxTrainLoop provádí tréninkovou smyčku pro LoRA, iteruje po specifikovaný počet kroků. Po každé tréninkové smyčce uzel FluxTrainValidate validuje trénovaný LoRA pomocí nastavení validace a generuje validační výstupy. Uzel PreviewImage zobrazuje náhled validačních výsledků. Uzel FluxTrainSave ukládá trénovaný LoRA v specifikovaných intervalech.

Vizualizace ztráty ComfyUI FLUX: Uzel VisualizeLoss vizualizuje tréninkovou ztrátu během průběhu tréninku. Uzel SaveImage ukládá graf ztráty pro další analýzu.

Zpracování validačních výstupů ComfyUI FLUX: Uzly AddLabel a SomethingToString se používají k přidání štítků k validačním výstupům, označují tréninkové kroky. Uzly ImageBatchMulti a ImageConcatFromBatch kombinují a spojí validační výstupy do jednoho výsledku pro snazší vizualizaci.

Finalizace tréninku ComfyUI FLUX: Uzel FluxTrainEnd finalizuje proces tréninku LoRA a ukládá trénovaný LoRA. Uzel UploadToHuggingFace může být použit pro nahrání trénovaného LoRA na Hugging Face pro sdílení a další použití s ComfyUI FLUX.

5.9. Pracovní postup ComfyUI: Flux Latent Upscaler

5.9.1. ComfyUI Flux Latent Upscaler: Stáhnout

5.9.2. Vysvětlení ComfyUI Flux Latent Upscaler:

Pracovní postup ComfyUI Flux Latent Upscale začíná načtením potřebných komponent, včetně CLIP (DualCLIPLoader), UNET (UNETLoader) a VAE (VAELoader). Textový prompt je kódován pomocí uzlu CLIPTextEncode a vedení je aplikováno pomocí uzlu FluxGuidance.

Uzel SDXLEmptyLatentSizePicker+ specifikuje velikost prázdné latentní reprezentace, která slouží jako výchozí bod pro proces upscale ve FLUX. Latentní reprezentace je pak zpracována prostřednictvím série kroků upscale a ořezávání pomocí uzlů LatentUpscale a LatentCrop.

Proces upscale je veden kódovaným textovým kondicionérem a používá uzel SamplerCustomAdvanced s vybranou metodou vzorkování (KSamplerSelect) a plánovanými úrovněmi šumu (BasicScheduler). Uzel ModelSamplingFlux nastavuje parametry vzorkování.

Upscale latentní reprezentace je pak kompozitována s původní latentní reprezentací pomocí uzlu LatentCompositeMasked a masky generované uzly SolidMask a FeatherMask. Šum je injektován do upscale latentní reprezentace pomocí uzlu InjectLatentNoise+.

Nakonec je upscale latentní reprezentace dekódována do finálního výstupu pomocí uzlu VAEDecode a chytré zaostření je aplikováno pomocí uzlu ImageSmartSharpen+. Uzel PreviewImage zobrazuje náhled finálního výstupu generovaného ComfyUI FLUX.

Pracovní postup ComfyUI FLUX Latent Upscaler také zahrnuje různé matematické operace pomocí uzlů SimpleMath+, SimpleMathFloat+, SimpleMathInt+ a SimpleMathPercent+ pro výpočet rozměrů, poměrů a dalších parametrů pro proces upscale.