PuLID | Noggrann ansiktsinbäddning för text till bild

Vad är PuLID?

PuLID (Pure and Lightning ID customization) är en ny metod för justeringsfri identitets (ID) anpassning i text-till-bild-genereringsmodeller. Den syftar till att bädda in en specifik ID (t.ex. en persons ansikte) i en förtränad text-till-bild-modell utan att störa modellens ursprungliga kapabiliteter. Detta gör det möjligt att generera bilder av den specifika personen samtidigt som man fortfarande kan ändra attribut, stilar, bakgrunder etc. med hjälp av textuppmaningar.

PuLID innehåller två nyckelkomponenter:

1. En "Lightning T2I" gren som snabbt genererar högkvalitativa bilder konditionerade på ID i bara några få avbrusningssteg, tillsammans med standarddiffusionsgrenen. Detta möjliggör beräkning av en exakt ID-förlust för att förbättra noggrannheten hos det genererade ansiktet.
2. Kontrastiva anpassningsförluster mellan Lightning T2I-vägarna med och utan ID-konditionering. Detta instruerar modellen om hur man bäddar in ID-information utan att förorena modellens ursprungliga uppmaningsföljning och bildgenereringskapaciteter.

Hur PuLID fungerar

PuLID:s arkitektur består av en konventionell diffusionsutbildningsgren och den nya Lightning T2I-grenen:

1. I diffusionsgrenen följer PuLID den standardiserade diffusionsutbildningsprocessen med iterativ avbrusning. ID-konditionen är beskuren från målet träningsbild.
2. Lightning T2I-grenen utnyttjar nyligen snabba samplingsmetoder för att generera en högkvalitativ bild konditionerad på ID-uppmaningen i bara 4 avbrusningssteg, med start från ren brus.
3. Inom Lightning T2I-grenen konstrueras två vägar - en konditionerad enbart på textuppmaningen, den andra konditionerad på både ID och textuppmaningen. UNET-funktionerna för dessa vägar är anpassade med hjälp av kontrastiva förluster:
   • En semantisk anpassningsförlust säkerställer att modellens respons på textuppmaningen är liknande med och utan ID-konditionering. Detta bevarar modellens ursprungliga uppmaningsföljningsförmåga.
   • En layoutanpassningsförlust upprätthåller konsistensen i det genererade bildlayouten före och efter ID-insättning.
4. Lightning T2I-grenen möjliggör beräkning av en exakt ID-förlust mellan den genererade ansiktsinbäddningen och den verkliga ID-inbäddningen, eftersom den producerar ett rent, avbrusat utgångsansikte. Detta förbättrar noggrannheten hos den genererade ID.

Hur man använder ComfyUI PuLID

Att använda ComfyUI PuLID-arbetsflödet för att tillämpa ID-anpassning på en modell involverar flera nyckelparametrar i "Apply PuLID"-noden:

"Apply PuLID" Obligatoriska Inmatningar:

• model: Basen text-till-bild-diffusionsmodellen som ska anpassas med den specifika ID. Detta är vanligtvis en förtränad modell som Stable Diffusion.
• pulid: De laddade PuLID-modellvikterna, som definierar hur ID-informationen sätts in i basmodellen. Olika PuLID-viktfiler kan tränas för att prioritera antingen ID-noggrannhet eller att bevara modellens ursprungliga genereringsstil.
• eva_clip: Den laddade Eva-CLIP-modellen för att koda ansiktsdrag från ID-referensbilden/bilderna. Eva-CLIP producerar en meningsfull ansiktsfunktionsinbäddning.
• face_analysis: Den laddade InsightFace-modellen för att känna igen och beskära ansiktet i ID-referensbilden/bilderna. Detta säkerställer att endast relevanta ansiktsdrag kodas.
• image: Referensbilden eller bilderna som visar den specifika ID som ska sättas in i modellen. Flera bilder av samma identitet kan tillhandahållas för att förbättra ID-inbäddningen.
• method: Väljer ID-insättningsmetoden, med alternativen "fidelity", "style" och "neutral". "fidelity" prioriterar maximal likhet med ID-referensen även om genereringskvaliteten försämras. "style" fokuserar på att bevara modellens ursprungliga genereringskapaciteter med en lägre ID-noggrannhet. "neutral" balanserar de två.
• weight: Kontrollerar styrkan av ID-insättningen, från 0 (ingen effekt) till 5 (extremt stark). Standard är 1. Högre vikt förbättrar ID-noggrannheten men riskerar att åsidosätta modellens ursprungliga generering.
• start_at: Avbrusningssteget (som en procentandel från 0 till 1) för att börja tillämpa PuLID ID-anpassningen. Standard är 0, vilket börjar ID-insättningen från första avbrusningssteget. Kan ökas för att börja ID-insättningen senare i avbrusningsprocessen.
• end_at: Avbrusningssteget (som en procentandel från 0 till 1) för att sluta tillämpa PuLID ID-anpassningen. Standard är 1, vilket tillämpar ID-insättningen till slutet av avbrusningen. Kan minskas för att sluta ID-insättningen innan de sista avbrusningsstegen.

"Apply PuLID" Valfria Inmatningar:

• attn_mask: En valfri gråskalemaskbild för att rumsligt kontrollera var ID-anpassningen tillämpas. Vita områden av masken får full ID-insättningseffekt, svarta områden påverkas inte, grå områden får delvis effekt. Användbar för att lokalisera ID till bara ansiktsregionen.

"Apply PuLID" Utgångar:

• MODEL: Inmatningsmodellen med PuLID ID-anpassningen tillämpad. Denna anpassade modell kan användas i andra ComfyUI-noder för bildgenerering. De genererade bilderna kommer att visa ID samtidigt som de fortfarande kan kontrolleras via uppmaning.

Justering av dessa parametrar möjliggör finjustering av PuLID ID-insättningen för att uppnå önskad balans mellan ID-noggrannhet och genereringskvalitet. Generellt ger en vikt på 1 med metoden "neutral" en pålitlig utgångspunkt, som sedan kan justeras baserat på resultaten. Parametrarna start_at och end_at ger ytterligare kontroll över när ID tar effekt i avbrusningen, med möjlighet att lokalisera effekten via en attn_mask.

För mer information, vänligen besök github