Updated: 5/27/2024
Välkommen! I denna guide ska vi utforska de spännande funktionerna i ComfyUI IPAdapter Plus, även känd som ComfyUI IPAdapter V2.
IPAdapter-modeller är mycket kraftfulla för bild-till-bild konditionering, vilket möjliggör enkel överföring av motivet eller stilen från referensbilder till nya skapelser. Tänk på det som en 1-bilds LoRA.
Introduktionen av IPAdapter Plus (IPAdapter V2) har medfört en mängd nya funktioner som syftar till att förenkla modellintegrationsprocessen, förbättra användbarheten och utöka kreativa möjligheter.
Det är viktigt att notera att uppgradering till ComfyUI IPAdapter Plus (IPAdapter V2) gör dina tidigare arbetsflöden, som förlitar sig på ComfyUI IPAdapter V1 nod, obrukbara. Följaktligen måste du återskapa dina projekt med ComfyUI IPAdapter Plus.
Vi kommer att täcka:
Om du är intresserad av att utforska ComfyUI IPAdapter Plus (IPAdapter V2) Arbetsflöde, använd följande ComfyUI web. Den kommer fullt utrustad med alla nödvändiga kundnoder och modeller, vilket möjliggör sömlös kreativitet utan behov av manuella inställningar. Börja få praktisk erfarenhet omedelbart, eller fortsätt med denna tutorial för att lära dig hur du använder IPAdapter Plus effektivt.
"Modell" och "IPAdapter" ingångarna i "IPAdapter" noden är anslutna till utgången av "IPAdapter Unified Loader" noden. Här kan du välja mellan olika IPAdapter-modeller, var och en anpassad till olika krav:
"Bild" ingången i "IPAdapter" noden är referensbilden som används för bild-till-bild konditionering. Här applicerar "IPAdapter" noden sina transformativa förmågor, ändrar referensbilden baserat på de definierade parametrarna och modellens funktioner. Genom denna process genereras nya bilder som ärver attribut från referensbilden och blandar dem med IPAdapter-modellens kreativa potential.
Med "Attn Mask" kan du markera specifika bildområden för fokuserad bearbetning eller för att styra modellens uppmärksamhet, förbättra eller bevara vissa bildfunktioner medan du riktar modellens fokus.
Parametern "Vikt" justerar intensiteten av de tillämpade modifieringarna; högre värden leder till mer uttalade effekter, medan lägre värden resulterar i subtilare förändringar.
Parametrarna "Start At" och "End At" dikterar de initiala och slutliga stegen vid vilka effekterna av IPAdapter tillämpas, vilket erbjuder kontroll över bearbetningen.
"Vikt Typ" för att applicera vikt genom bearbetningsstegen varierar, var och en påverkar output på ett distinkt sätt:
När du arbetar med SDXL-modeller, integreras IPAdapter Plus-modellen sömlöst och anpassar sig automatiskt till egenskaperna hos SDXL-modellen. Det är dock viktigt att justera den latenta storleken lämpligt för att anpassa sig till kraven från SDXL-modellen.
Genom att erbjuda en mer omfattande uppsättning funktioner, förbättrar ComfyUI IPAdapter Advanced nod kontrollen över genereringsprocessen genom parametrar som "Bild Negativ", "CLIP Vision", "Kombinera Embeds" och fler alternativ för "Vikt Typ", vilket gör att bilderna ligger närmare din kreativa vision.
Parametern "Bild Negativ" gör det möjligt för dig att definiera vad du inte vill ska dyka upp i den slutliga bilden. Genom att specificera negativa exempel styrs modellen bort från oönskade element, och styr mot ett mer önskvärt resultat. Denna funktion är avgörande för att undvika vissa teman, objekt eller mönster i den genererade bilden, vilket säkerställer att output följer dina preferenser.
I "IPAdapter Advanced" noden hittar du "CLIP Vision" ingången. Denna är ansluten till utgången av "Load CLIP Vision" noden, där du kan välja mellan olika CLIP-ViT Modeller.
Den huvudsakliga skillnaden mellan CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors och CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors ligger i deras storlek och potentiella komplexitetshantering, med den senare som är större på 39 miljarder parametrar, vilket antyder att den kan tolka mer nyanserade text-bild relationer än den förra på 32 miljarder parametrar.
Jämfört med "IPAdapter" noden, öppnar "IPAdapter Advanced" noden fler alternativ för "vikt typ", var och en påverkar output på ett distinkt sätt:
"Kombinera Embeds" funktionen är avgörande för dem som vill slå samman ingångar från flera källor till en enhetlig, sammanhängande visuell output. Genom att utnyttja "Kombinera Embeds" har du flexibiliteten att skapa bilder som inkluderar ett brett spektrum av konstnärliga influenser och inspirationer, vilket resulterar i verkligt personliga och innovativa skapelser. Metoderna som tillhandahålls för att kombinera embeds, såsom Concat, Add, Subtract, Average och Norm Average, erbjuder olika tillvägagångssätt för att slå samman dessa influenser. Dessa kommer att utforskas i detalj i avsnitt 4, "ComfyUI IPAdapter Bildsammanfogning".
I den nämnda konfigurationen kanske du har märkt avsaknaden av FaceID-modellen. För att integrera Face ID-modellen i ditt arbetsflöde krävs två specifika noder: "IPAdapter Unified Loader FaceID" Node och "IPAdapter FaceID" Node.
När du arbetar inom "IPAdapter Unified Loader FaceID" noden kan du välja den senaste "Face ID Plus V2" från rullgardinsmenyn med tillgängliga modeller. Denna åtgärd instruerar laddaren att automatiskt samla in och förbereda alla nödvändiga beroenden unika för Face ID Plus V 3.1. ComfyUI IPAdapter FaceID Arbetsflöde (fortsättning)": "V2-modellen.
Välj CPU som Leverantör. Trots den potentiella tillgängligheten av en högpresterande GPU, är det tillrådligt att konfigurera Face ID-modellen att använda CPU som sin leverantör. Denna rekommendation härrör från fördelen att bevara värdefull Video RAM (VRAM), en strategi som visar sig fördelaktig och hjälper till att optimera den övergripande effektiviteten och effektiviteten i ditt projektresursallokering.
Hur använder man flera referensbilder för att generera en ny? Här är två metoder för att uppnå detta med ComfyUIs IPAdapter Plus, vilket ger dig flexibiliteten och kontrollen som behövs för kreativ bildgenerering.
För att börja med "Batch Image" noden måste du först välja bilderna du vill slå samman. Dessa bilder matas sedan in i noden, vilket skapar en enhetlig batch. Denna batch introduceras därefter i IPAdapter-pipelinen, vilket applicerar varje bild sekventiellt på genereringsprocessen.
Noden "IPAdapter Advanced" introducerar "Kombinera Embeds" alternativ, vilket ger dig sofistikerad kontroll över hur flera bilder påverkar genereringen. Dessa alternativ—Concat, Add, Subtract, Average och Norm Average—bestämmer hur embeddings från olika bilder slås samman, var och en leder till unika resultat:
I följande bild, genom att använda olika "Kombinera Embeds," kommer du att få olika resultat.
För dem som söker finare kontroll över hur referensbilder viktas i den slutliga bilden, erbjuder IPAdapter en lösning genom användning av "IPAdapter Encoder" noder och en "IPAdapter Kombinera Embeds" nod.
Varje bild i sammanfogningsprocessen bearbetas genom en IPAdapter encoder nod, som kodar bilderna för kompatibilitet med IPAdapter. Inom "IPAdapter Encoder" noder kan användare tilldela specifika vikter till varje bild, vilket dikterar deras inflytande på den sammanfogade outputen. Genom att justera dessa vikter möjliggörs nyanserad kontroll över dominansen eller subtiliteten hos varje bild i kompositionen.
Efter att ha kodat bilderna och satt deras vikter, sammanfogar "IPAdapter Kombinera Embeds" noden deras kodade representationer. Den kombinerar de positiva embeds från encoder noderna, vilket återspeglar det avsedda inflytandet från varje bild på den sammanfogade outputen. Denna balanserade embedding är sedan redo för syntes.
Den syntetiserade embedding bearbetas slutligen av IPAdapter för att producera den nya bilden. Även om anslutning av negativa embeds är valfri, rekommenderas det för att bevara beräkningsresurser. Genom att välja någon av de två negativa embeds från encoder noderna och länka den till IPAdapter noden, optimeras processen, vilket minimerar onödig beräkning och strömlinjeformar sammanfogningsprocessen.
Genom att följa dessa metoder kan du effektivt slå samman flera bilder för att generera nya, kreativa kompositioner och dra full nytta av ComfyUI IPAdapter Plus kapaciteter!
När du bearbetar höga bilder, kan du stöta på en unik utmaning: CLIP Vision encodern, en kärnkomponent i IPAdapter-ramverket, föredrar i grunden kvadratiska bilder. Denna preferens kan leda till beskärningsproblem när du direkt ansluter en hög bild till en IPAdapter nod, vilket vanligtvis resulterar i att endast den centrala delen av bilden påverkar outputen. Följaktligen kan de övre och nedre sektionerna av din bild ignoreras, vilket påverkar den övergripande kvaliteten på det genererade innehållet.
För att åtgärda detta problem, erbjuder "IPAdapter Tiled" noden en skräddarsydd lösning. Den tillåter direkt anslutning av höga bilder genom att segmentera bilden i mindre, hanterbara tiles. Denna metod säkerställer att varje del av din referensbild tas i beaktande under genereringsprocessen, vilket undviker problemet med partiell bildförsummelse.
En ytterligare funktion i "IPAdapter Tiled" noden är tiles och masker output, som ger en visuell representation av hur din bild bearbetas. Denna funktion visar de specifika tiles som används och deras motsvarande masker, vilket ger dig insikt i genereringsprocessens inre arbete. Att förstå hur din bild segmenteras och bearbetas kan hjälpa dig att göra informerade justeringar för att uppnå dina önskade resultat.
Dessutom tillåter "IPAdapter Tiled" noden anpassade maskjusteringar, vilket ger flexibilitet att framhäva eller koncentrera sig på specifika sektioner av din bild. Genom att anpassa dessa masker kan du rikta mer uppmärksamhet mot specifika element i din höga bild, vilket ger förbättrad kontroll över resultatet. Denna funktion är ovärderlig för att betona eller minimera vissa aspekter inom din bild, vilket säkerställer att det genererade innehållet stämmer exakt överens med din vision.
Därför förbättrar inkorporeringen av "IPAdapter Tiled" noden i ComfyUI IPAdapter Plus avsevärt din kapacitet att hantera bild-till-bild konditioneringsprojekt som involverar höga bilder.
Hur använder man ComfyUI IPAdapter Plus för att manipulera och kombinera stilar och kompositioner från referensbilder för att skapa nya, övertygande visuella bilder. ComfyUI IPAdapter Plus erbjuder en kraftfull verktygsuppsättning för konstnärer och designers att experimentera med, inklusive möjligheten att överföra stilen från en bild, behålla kompositionen från en annan, eller till och med slå samman både stil och komposition från olika referenser till en enda bild.
För att överföra stilen från en referensbild, som en 1-bilds LoRA, till ditt mål innehåll med hjälp av ComfyUI IPAdapter Advanced nod, följ dessa steg:
Ställa in "IPAdapter Advanced" Nod: Börja med att infoga en "IPAdapter Advanced" nod i ditt arbetsflöde.
Konfigurera Noden: Inom inställningarna för ComfyUI IPAdapter Advanced nod, hitta "Vikt Typ" alternativet. Använd rullgardinsmenyn för att välja "Stilöverföring (SDXL)." Denna konfiguration instruerar adaptern att prioritera överföringen av din referensbilds visuella stil till målet.
Justera Stilöverföringens "Vikt": "vikt" inställningen bestämmer styrkan på stilöverföringen. Att öka detta värde förstärker inflytandet av referensstilen på din målbild, vilket gör effekten mer distinkt.
För att behålla kompositionen av en referensbild medan du genererar en ny, kommer du också att använda ComfyUI IPAdapter Advanced nod men med en annan inställning:
Ställ in "IPAdapter Advanced" Nod: Som tidigare, lägg till en IPAdapter Advanced nod till ditt arbetsflöde.
Konfigurera Noden: Välj "Komposition (SDXL)" från "Vikt Typ" rullgardinsmenyn. Detta instruerar adaptern att behålla de kompositionella elementen från referensbilden i den nya genereringen.
Justera Kompositionens "Vikt": Justera "vikt" inställningen för att påverka hur nära den nya bilden följer kompositionen av referensen. En högre vikt kommer att striktare upprätthålla referensens komposition.
För projekt som kräver både stilen från en bild och kompositionen från en annan att överföras, erbjuder "IPAdapter stil & komposition SDXL" noden en strömlinjeformad lösning:
Välj "IPAdapter Stil & Komposition SDXL" Nod: Lägg till denna specialiserade nod till ditt projekt för att samtidigt hantera stil- och kompositionstransfer.
Ladda Stil- och Kompositionsreferenser: "IPAdapter Stil & Komposition SDXL" noden tillåter två ingångar, en för bilden vars stil du vill överföra och en annan för bilden vars komposition du vill behålla. Ladda båda referenserna därefter.
Konfigurera "Vikter" för Både Stil och Komposition: "IPAdapter Stil & Komposition SDXL" noden ger separata viktinställningar för stil och komposition. Justera dessa vikter för att balansera inflytandet från varje referens på den slutliga bilden. Att ställa in en högre vikt för stil eller komposition kommer att prioritera den aspekten i den genererade bilden.
Genom att följa dessa steg och experimentera med inställningarna, kan du utnyttja ComfyUI IPAdapter Plus för att skapa visuellt fantastiska bilder som sammanför det bästa av båda världar: den distinkta stilen från ett konstverk med den genomtänkta kompositionen från ett annat.
Om du är intresserad av att utforska ComfyUI IPAdapter Plus (IPAdapter V2) Arbetsflöde, använd följande ComfyUI web. Den kommer fullt utrustad med alla nödvändiga kundnoder och modeller, vilket möjliggör sömlös kreativitet utan behov av manuella inställningar. Börja få praktisk erfarenhet omedelbart!
© Copyright 2024 RunComfy. Alla Rättigheter Förbehållna.