IC-Light | Přisvětlování obrázků

1. Co je IC-Light?

IC-Light je nástroj pro úpravu obrázků založený na AI, který integruje modely Stable Diffusion pro provádění lokalizovaných úprav na generovaných obrázcích. Funguje tak, že kóduje obrázek do latentní prostorové reprezentace, aplikuje úpravy na specifické oblasti a poté dekóduje upravenou latentní reprezentaci zpět do obrázku. Tento přístup umožňuje přesnou kontrolu nad procesem úprav při zachování celkového stylu a koherence původního obrázku.

Nyní jsou k dispozici dva modely: model podmíněný textem a model podmíněný pozadím. Oba typy přijímají jako vstupy obrázky popředí.

2. Jak IC-Light funguje

Pod povrchem IC-Light využívá sílu modelů Stable Diffusion k kódování a dekódování obrázků. Proces lze rozdělit do následujících kroků:

2.1. Kódování: Vstupní obrázek je předán přes Stable Diffusion VAE (Variational Autoencoder), aby se získala komprimovaná latentní prostorová reprezentace. 2.2. Úpravy: Požadované úpravy jsou aplikovány na specifické oblasti latentní reprezentace. To se obvykle provádí sloučením původního latentu s maskou označující oblasti, které mají být upraveny, spolu s odpovídajícími editačními pokyny. 2.3. Dekódování: Upravená latentní reprezentace je předána přes dekodér Stable Diffusion, aby se zrekonstruoval upravený obrázek. Prací v latentním prostoru může IC-Light provádět lokalizované úpravy při zachování celkové koherence a stylu obrázku.

3. Jak používat ComfyUI IC-Light

Hlavním uzlem, se kterým budete pracovat, je uzel "IC-Light Apply", který zpracovává celý proces kódování, úprav a dekódování vašeho obrázku.

3.1. Vstupní parametry "IC-Light Apply":

Uzel "IC-Light Apply" vyžaduje tři hlavní vstupy:

• model: Toto je základní model Stable Diffusion, který bude použit pro kódování a dekódování vašeho obrázku.
• ic_model: Toto je předtrénovaný model IC-Light, který obsahuje potřebné váhy pro proces úprav.
• c_concat: Toto je speciální vstup, který kombinuje váš původní obrázek, masku označující oblasti k úpravě a editační pokyny, které definují, jak by měly být tyto oblasti upraveny.

Pro vytvoření vstupu c_concat:

1. Použijte uzel VAEEncodeArgMax k zakódování vašeho původního obrázku. Tento uzel zajišťuje, že je získána nejpravděpodobnější latentní reprezentace vašeho obrázku.
2. Použijte uzel ICLightApplyMaskGrey k vytvoření maskované verze vašeho obrázku. Tento uzel přijímá jako vstup váš původní obrázek a masku a výstupem je verze obrázku, kde jsou nemaskované oblasti zšedlé.
3. Vytvořte latentní reprezentace vašich editačních pokynů. Tyto pokyny budou vést úpravy provedené na vybraných oblastech vašeho obrázku.
4. Kombinujte latentní reprezentace vašeho původního obrázku, masky a editačních pokynů do jednoho vstupu pro uzel "IC-Light Apply".

3.2. Výstupní parametry "IC-Light Apply":

Po zpracování vašich vstupů uzel "IC-Light Apply" výstupuje jeden parametr:

• model: Toto je upravený model Stable Diffusion s aplikovanými úpravami IC-Light.

Pro vygenerování vašeho finálního upraveného obrázku jednoduše připojte výstupní model k příslušným uzlům ve vašem pracovním postupu ComfyUI, jako jsou uzly KSampler a VAEDecode.

3.3. Tipy pro nejlepší výsledky:

1. Používejte kvalitní masky: Abyste zajistili, že vaše úpravy budou přesné a účinné, ujistěte se, že vaše masky přesně ohraničují oblasti, které chcete upravit.
2. Experimentujte s různými editačními pokyny: Editační pokyny jsou tím, co vede úpravy provedené na vybraných oblastech vašeho obrázku. Nebojte se zkoušet různé pokyny, abyste dosáhli požadovaného efektu, a neváhejte své pokyny upravit na základě výsledků, které získáte.
3. Vyvažujte globální a lokální úpravy: I když je IC-Light skvělý pro provádění lokalizovaných úprav, je důležité zvážit celkovou kompozici a koherenci vašeho obrázku. Snažte se najít rovnováhu mezi zaměřenými úpravami a globálními úpravami, aby byla zachována integrita vašeho generovaného díla.

Pro více informací navštivte github