PuLID | Přesné vložení obličeje pro generování textu na obrázek

Co je PuLID?

PuLID (Pure and Lightning ID customization) je nová metoda pro přizpůsobení identity (ID) bez ladění v modelech generování textu na obrázek. Cílem je vložit konkrétní ID (např. obličej osoby) do předtrénovaného modelu text-to-image, aniž by se narušily původní schopnosti modelu. To umožňuje generovat obrázky konkrétní osoby a zároveň měnit atributy, styly, pozadí atd. pomocí textových promptů.

PuLID zahrnuje dvě klíčové komponenty:

1. Větev "Lightning T2I", která rychle generuje vysoce kvalitní obrázky podmíněné ID během několika málo kroků denoisingu, spolu se standardní difuzní větví. To umožňuje vypočítat přesnou ztrátu ID pro zlepšení věrnosti generovaného obličeje.
2. Kontrastní ztráty zarovnání mezi cestami Lightning T2I s a bez podmínění ID. To modelu říká, jak vložit informace o ID, aniž by se znečistily původní schopnosti modelu pro sledování promptů a generování obrázků.

Jak PuLID funguje

Architektura PuLID se skládá z konvenční difuzní tréninkové větve a nové větve Lightning T2I:

1. Ve difuzní větvi PuLID sleduje standardní proces tréninku difuze iterativního denoisingu. Podmínka ID je oříznuta z cílového tréninkového obrázku.
2. Větev Lightning T2I využívá nedávné metody rychlého vzorkování k generování vysoce kvalitního obrázku podmíněného ID promptem během pouhých 4 kroků denoisingu, počínaje čistým šumem.
3. Ve větvi Lightning T2I jsou vytvořeny dvě cesty - jedna podmíněná pouze textovým promptem, druhá podmíněná jak ID, tak textovým promptem. UNET vlastnosti těchto cest jsou zarovnány pomocí kontrastních ztrát:
   • Ztráta sémantického zarovnání zajišťuje, že odpověď modelu na textový prompt je podobná s a bez podmínění ID. To zachovává původní schopnost modelu sledovat prompt.
   • Ztráta zarovnání rozložení udržuje konzistenci rozložení generovaného obrázku před a po vložení ID.
4. Větev Lightning T2I umožňuje vypočítat přesnou ztrátu ID mezi generovaným vkladem obličeje a skutečným vkladem ID, protože produkuje čistý, denoised výstupní obličej. To zlepšuje věrnost generovaného ID.

Jak používat ComfyUI PuLID

Použití pracovního postupu ComfyUI PuLID k aplikaci přizpůsobení ID na model zahrnuje několik klíčových parametrů v uzlu "Apply PuLID":

Požadované vstupy "Apply PuLID":

• model: Základní difuzní model text-to-image, který se má přizpůsobit konkrétnímu ID. Obvykle se jedná o předtrénovaný model jako Stable Diffusion.
• pulid: Načtené váhy modelu PuLID, které definují, jak jsou informace o ID vloženy do základního modelu. Různé soubory vah PuLID mohou být trénovány tak, aby upřednostňovaly buď věrnost ID, nebo zachování původního stylu generování modelu.
• eva_clip: Načtený model Eva-CLIP pro kódování rysů obličeje z referenčního obrázku (obrázků) ID. Eva-CLIP vytváří smysluplný vklad rysů obličeje.
• face_analysis: Načtený model InsightFace pro rozpoznávání a ořezávání obličeje v referenčním obrázku (obrázcích) ID. To zajišťuje, že jsou kódovány pouze relevantní rysy obličeje.
• image: Referenční obrázek nebo obrázky zobrazující konkrétní ID, které mají být vloženy do modelu. Více obrázků stejné identity může být poskytnuto pro zlepšení vkladu ID.
• method: Výběr metody vložení ID, s možnostmi "fidelity", "style" a "neutral". "fidelity" upřednostňuje maximální podobnost s referencí ID, i když se kvalita generování zhoršuje. "style" se zaměřuje na zachování původních schopností generování modelu s nižší věrností ID. "neutral" vyvažuje obě.
• weight: Ovládá sílu vložení ID, od 0 (žádný efekt) do 5 (extrémně silný). Výchozí hodnota je 1. Vyšší váha zlepšuje věrnost ID, ale riskuje přepsání původního generování modelu.
• start_at: Krok denoisingu (jako procento od 0 do 1), kdy začít aplikovat přizpůsobení ID pomocí PuLID. Výchozí hodnota je 0, začínající vložení ID od prvního kroku denoisingu. Lze zvýšit, aby vložení ID začalo později v procesu denoisingu.
• end_at: Krok denoisingu (jako procento od 0 do 1), kdy přestat aplikovat přizpůsobení ID pomocí PuLID. Výchozí hodnota je 1, aplikující vložení ID až do konce denoisingu. Lze snížit, aby vložení ID přestalo před závěrečnými kroky denoisingu.

Volitelné vstupy "Apply PuLID":

• attn_mask: Volitelný stupňovitý maskovací obrázek pro prostorové ovládání, kde je aplikováno přizpůsobení ID. Bílé oblasti masky obdrží plný efekt vložení ID, černé oblasti nejsou ovlivněny, šedé oblasti obdrží částečný efekt. Užitečné pro lokalizaci ID pouze na oblast obličeje.

Výstupy "Apply PuLID":

• MODEL: Vstupní model s aplikovaným přizpůsobením ID PuLID. Tento přizpůsobený model lze použít v jiných uzlech ComfyUI pro generování obrázků. Generované obrázky budou zobrazovat ID a stále budou ovladatelné pomocí promptu.

Úprava těchto parametrů umožňuje jemné doladění vložení ID pomocí PuLID k dosažení požadované rovnováhy mezi věrností ID a kvalitou generování. Obecně platí, že váha 1 s metodou "neutral" poskytuje spolehlivý výchozí bod, který lze následně upravit na základě výsledků. Parametry start_at a end_at poskytují další kontrolu nad tím, kdy ID začne působit v denoisingu, s možností lokalizovat efekt pomocí attn_mask.

Pro více informací navštivte github