ComfyUI PhotoMakerV2 | Skapa realistiska foton

Vad är PhotoMakerV2

PhotoMakerV2, en uppgradering från PhotoMaker, erbjuder en effektiv metod för personlig text-till-bild-generering. Den syntetiserar realistiska foton av individer med hjälp av några inmatade identitetsbilder och en textuppmaning.

Några nyckelfunktioner i PhotoMakerV2 inkluderar:

• Hög effektivitet: Genererar snabbt personliga foton.
• Utmärkt identitetsbevarande: Bibehåller likheten hos inmatade identiteter.
• Flexibel textkontroll: Gör det möjligt att specificera kontext, stil, attribut, etc. i uppmaningen.
• Förbättrad identitetsfidelitet: Förbättrad jämfört med PhotoMaker V1. PhotoMakerV2 genererar fotorealistiska bilder av en person i olika kontexter, stiliserar utseenden, ändrar attribut som ålder och kön, sammanfogar identiteter och moderniserar människor från gamla foton eller konstverk. Det låser upp många kreativa möjligheter.

Hur PhotoMakerV2 fungerar

PhotoMakerV2 kodar en eller flera inmatade identitetsbilder till en "stacked ID embedding," som fungerar som en enhetlig representation som kapslar in identitetsinformation.

Denna embedding, tillsammans med en textuppmaning, matas in i en text-till-bild-diffusionsmodell. Modellen producerar sedan en bild som visar den inbäddade identiteten i den kontext som beskrivs av uppmaningen.

Några viktiga aspekter av hur det fungerar under huven:

• Använder en identitetskoder för att extrahera identitetsinformation från inmatade ansiktsbilder
• Förbättrar identitetsbevarandet genom att använda en extern ansiktsigenkänningsmodell (InsightFace)
• Kodar flera identitetsbilder till en staplad embedding för att fånga identiteten omfattande
• Matning av den staplade ID embedding till diffusionsmodellens cross-attention-lager
• Vägledning av genereringen med textuppmaningen samtidigt som identitetsinformationen adaptivt sammanfogas
• Tränad med en identitetsorienterad dataset för att förbättra identifieringsmöjligheterna

Hur man använder ComfyUI PhotoMakerV2

För att använda PhotoMakerV2 i ComfyUI, interagera främst med PhotoMakerEncodePlus-noden. Ett typiskt arbetsflöde involverar:

1. Ladda PhotoMakerV2-modellen med hjälp av "PhotoMaker Loader Plus"-noden.
2. Ladda en eller flera identitetsbilder med hjälp av "Prepare Images For CLIP Vision"-noden.
3. Ladda InsightFace-modellen som krävs av PhotoMakerV2 med hjälp av "PhotoMaker InsightFace Loader"-noden.
4. Anslut utgångarna från dessa noder till motsvarande ingångar på "PhotoMaker Encode Plus"-noden.
5. I "PhotoMaker Encode Plus"-noden, specificera uppmaningen som beskriver den önskade bilden. Använd det speciella triggerordet i uppmaningen där identiteten ska visas.
6. Anslut utgångskonditioneringen från "PhotoMaker Encode Plus" till en "KSampler"-nod för att generera bilden.

För mer information, besök och . All kredit går till deras bidrag.