LayerDiffuse | Text na průhledný obrázek

1. Přehled workflowu ComfyUI LayerDiffuse

Workflow ComfyUI LayerDiffuse integruje tři specializované podworkflowy: vytváření průhledných obrázků, generování pozadí z popředí a opačný proces generování popředí na základě existujícího pozadí. Každý z těchto podworkflowů LayerDiffuse funguje nezávisle, což vám poskytuje flexibilitu vybrat a aktivovat specifickou funkci LayerDiffuse, která odpovídá vašim kreativním potřebám.

1.1. Vytváření průhledných obrázků pomocí LayerDiffuse:

Tento workflow umožňuje přímé vytváření průhledných obrázků, což vám poskytuje flexibilitu generovat obrázky s nebo bez specifikace masky alfa kanálu.

1.2. Generování pozadí z popředí pomocí LayerDiffuse:

Pro tento workflow LayerDiffuse začněte nahráním vašeho popředního obrázku a vytvořením popisného promptu. LayerDiffuse pak smíchá tyto prvky k vytvoření požadovaného obrázku. Při vytváření promptu pro LayerDiffuse je důležité popsat celou scénu (např. "auto zaparkované na kraji ulice") místo pouhého popisu prvku pozadí (např. "ulice").

1.3. Generování popředí na základě pozadí:

Podobně jako předchozí workflow, tato funkce LayerDiffuse obrací pozornost na sloučení prvků popředí s existujícím pozadím. Proto musíte nahrát obrázek pozadí a popsat zamýšlený konečný obrázek ve vašem promptu, přičemž zdůrazníte celou scénu (např. "pes kráčí po ulici") namísto jednotlivých prvků (např. "pes").

Pro více workflowů LayerDiffuse, podívejte se na github

2. Účinnost workflowu LayerDiffuse

Zatímco proces vytváření průhledných obrázků je robustní a spolehlivě produkuje vysoce kvalitní výsledky, workflowy pro míchání pozadí a popředí jsou více experimentální. Nemusí vždy dosáhnout dokonalého sloučení, což naznačuje inovativní, ale vyvíjející se povahu této technologie.

3. Technické představení LayerDiffuse

LayerDiffuse je inovativní přístup navržený k umožnění rozsáhlých předtrénovaných latentních difuzních modelů generovat obrázky s průhledností. Tato technika zavádí koncept "latentní průhlednosti," který zahrnuje kódování průhlednosti alfa kanálu přímo do latentního prostoru existujících modelů. To umožňuje vytváření průhledných obrázků nebo více průhledných vrstev bez výrazného změnění původní latentní distribuce předtrénovaného modelu. Cílem je zachovat vysokou kvalitu výstupu těchto modelů při přidání schopnosti generovat obrázky s průhledností.

Aby toho bylo dosaženo, LayerDiffuse jemně dolaďuje předtrénované latentní difuzní modely úpravou jejich latentního prostoru tak, aby zahrnoval průhlednost jako latentní offset. Tento proces zahrnuje minimální změny modelu, zachovávající jeho původní kvality a výkon. Trénink LayerDiffuse využívá dataset 1 milionu párů vrstev průhledných obrázků, shromážděných prostřednictvím schématu s lidskou účastí, aby byla zajištěna široká škála průhlednostních efektů.

Metoda se ukázala být přizpůsobitelná různým open-source generátorům obrázků a může být integrována do různých podmíněných kontrolních systémů. Tato všestrannost umožňuje řadu aplikací, jako je generování obrázků se specifickou průhledností popředí/pozadí, vytváření vrstev se schopností společného generování a kontrola strukturálního obsahu vrstev.