Updated: 5/28/2024
Velkommen! I denne guide skal vi udforske de spændende funktioner i ComfyUI IPAdapter Plus, også kendt som ComfyUI IPAdapter V2.
IPAdapter-modeller er meget kraftfulde til billede-til-billede konditionering, hvilket gør det nemt at overføre emnet eller stilen fra referencebilleder til nye kreationer. Tænk på det som en 1-billede LoRA.
Introduktionen af IPAdapter Plus (IPAdapter V2) har bragt en række nye funktioner med sig, der sigter mod at strømline modelintegrationsprocessen, forbedre brugervenligheden og udvide kreative muligheder.
Det er vigtigt at bemærke, at opgradering til ComfyUI IPAdapter Plus (IPAdapter V2) vil gøre dine tidligere workflows, som er afhængige af ComfyUI IPAdapter V1 node, ubrugelige. Derfor skal du genopbygge dine projekter ved hjælp af ComfyUI IPAdapter Plus.
Vi vil dække:
Hvis du er interesseret i at udforske ComfyUI IPAdapter Plus (IPAdapter V2) Workflow, brug følgende ComfyUI web. Den kommer fuldt udstyret med alle de essentielle kundeknuder og modeller, hvilket muliggør problemfri kreativitet uden behov for manuelle opsætninger. Start med at få praktisk erfaring med det samme, eller fortsæt med denne tutorial for at lære, hvordan du bruger IPAdapter Plus effektivt.
"Model" og "IPAdapter" inputs af "IPAdapter" node er forbundet til output af "IPAdapter Unified Loader" node. Her kan du vælge mellem forskellige IPAdapter-modeller, hver skræddersyet til forskellige behov:
"Billede" input af "IPAdapter" node er referencebilledet, der bruges til billede-til-billede konditionering. Dette er, hvor "IPAdapter" node anvender sine transformative evner, ændrer referencebilledet baseret på de definerede parametre og modellens funktionaliteter. Gennem denne proces genereres nye billeder, der arver attributter fra referencebilledet og blander dem med den kreative potentiale i IPAdapter-modellen.
Med "Attn Mask" kan du fremhæve specifikke billedområder til fokuseret behandling eller for at guide modellens opmærksomhed, forbedre eller bevare bestemte billedfunktioner mens du styrer modellens fokus.
Parameteren "Vægt" justerer intensiteten af de anvendte ændringer; højere værdier fører til mere udtalte effekter, mens lavere værdier resulterer i mere subtile ændringer.
Parametrene "Start Ved" og "Slut Ved" dikterer de indledende og afsluttende trin, hvor IPAdapter-effekterne anvendes, hvilket giver kontrol over behandlingen.
"Vægt Type" for at anvende vægt gennem behandlingsstadierne varierer, hver påvirker output på en særskilt måde:
Når du arbejder med SDXL-modeller, integreres IPAdapter Plus-modellen problemfrit og tilpasser sig automatisk SDXL-modellens karakteristika. Det er dog vigtigt at justere den latente størrelse passende for at tilpasse sig SDXL-modellens krav.
Ved at tilbyde et mere omfattende sæt funktioner forbedrer ComfyUI IPAdapter Advanced node kontrollen over genereringsprocessen gennem parametre som "Image Negative", "CLIP Vision", "Combine Embeds", og flere muligheder for "Vægt Type", der justerer billeder tættere på din kreative vision.
Parameteren "Image Negative" giver dig mulighed for at definere, hvad du ikke ønsker at fremstå i det endelige billede. Ved at specificere negative eksempler ledes modellen væk fra uønskede elementer, der styrer mod et mere ønskeligt resultat. Denne funktion er instrumental i at undgå specifikke temaer, objekter eller mønstre i det genererede billede, hvilket sikrer, at output overholder dine præferencer.
I "IPAdapter Advanced" node finder du "CLIP Vision" input. Dette forbinder til output af "Load CLIP Vision" node, hvor du kan vælge mellem forskellige CLIP-ViT Modeller.
Den største forskel mellem CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors og CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors ligger i deres størrelse og potentiale for kompleksitetshåndtering, hvor sidstnævnte er større med 39 milliarder parametre, hvilket antyder, at den kan fortolke mere nuancerede tekst-billed relationer end førstnævntes 32 milliarder parametre.
Sammenlignet med "IPAdapter" node åbner "IPAdapter Advanced" node flere muligheder for "vægt type", hver påvirker output på en særskilt måde:
"Combine Embeds" funktionen er essentiel for dem, der ønsker at fusionere input fra flere kilder til et enkelt, sammenhængende visuelt output. Ved at bruge "Combine Embeds" har du fleksibiliteten til at skabe billeder, der inkorporerer en bred vifte af kunstneriske påvirkninger og inspirationer, hvilket resulterer i virkelig personlige og innovative kreationer. De metoder, der tilbydes til at kombinere embeds, såsom Concat, Add, Subtract, Average, og Norm Average, tilbyder forskellige tilgange til at fusionere disse påvirkninger. Disse vil blive udforsket detaljeret i Afsnit 4, "ComfyUI IPAdapter Image Merge Feature."
I ovenstående konfiguration har du måske bemærket fraværet af FaceID-modellen. For at integrere Face ID Model i din workflow kræves to specifikke noder: "IPAdapter Unified Loader FaceID" Node og "IPAdapter FaceID" Node.
Når du arbejder inden for "IPAdapter Unified Loader FaceID" node, kan du vælge den nyeste "Face ID Plus V2" fra dropdown-menuen med tilgængelige modeller. Denne handling instruerer loaderen til automatisk at indsamle og forberede alle nødvendige afhængigheder, der er unikke for Face ID Plus V2-modellen.
Vælg CPU som Provider. På trods af den potentielle tilgængelighed af en højtydende GPU, er det tilrådeligt at konfigurere Face ID-modellen til at bruge CPU som provider. Denne anbefaling stammer fra fordelen ved at bevare værdifuld Video RAM (VRAM), en strategi, der viser sig at være fordelagtig og hjælper med at optimere den samlede effektivitet og effektivitet af dit projekts ressourceallokering.
Hvordan bruger man flere referencebilleder til at generere et nyt? Her er to met oder til at opnå dette med ComfyUI's IPAdapter Plus, der giver dig den nødvendige fleksibilitet og kontrol til kreativ billedgenerering.
For at starte med "Batch Image" node skal du først vælge de billeder, du ønsker at fusionere. Disse billeder indtastes derefter i noden, hvilket skaber en samlet batch. Denne batch introduceres derefter i IPAdapter-pipelinen, hvor hvert billede anvendes sekventielt på genereringsprocessen.
Noden "IPAdapter Advanced" introducerer "Combine Embeds" mulighederne, hvilket giver dig sofistikeret kontrol over, hvordan flere billeder påvirker genereringen. Disse muligheder—Concat, Add, Subtract, Average, og Norm Average—dikterer, hvordan embeddings fra forskellige billeder fusioneres, hver førende til unikke resultater:
I det følgende billede, ved at bruge forskellige "Combine Embeds," vil du opnå forskellige resultater.
For dem, der søger finere kontrol over, hvordan referencebilleder vægtes i det endelige billede, giver IPAdapter en løsning gennem brugen af "IPAdapter Encoder" noder og en "IPAdapter Combine Embeds" node.
Hvert billede i fusionsprocessen behandles gennem en IPAdapter encoder node, der koder billederne for kompatibilitet med IPAdapter. Inden for "IPAdapter Encoder" noder kan brugerne tildele specifikke vægte til hvert billede, hvilket dikterer deres indflydelse på det fusionerede output. Justering af disse vægte giver mulighed for nuanceret kontrol over dominansen eller subtiliteten af hvert billede i kompositionen.
Efter kodning af billederne og indstilling af deres vægte, fusionerer "IPAdapter Combine Embeds" noden deres kodede repræsentationer. Den kombinerer de positive embeds fra encoder noderne, der afspejler den tilsigtede indflydelse af hvert billede på det fusionerede output. Denne afbalancerede embedding er derefter klar til syntese.
Den syntetiserede embedding behandles til sidst af IP Adapter for at producere det nye billede. Selvom det er valgfrit at forbinde negative embeds, anbefales det for at bevare beregningsressourcer. Ved at vælge en af de to negative embeds fra encoder noderne og forbinde den til IPAdapter node, optimeres processen, hvilket minimerer unødvendig beregning og strømliner fusionsprocessen.
Ved at følge disse metoder kan du effektivt fusionere flere billeder for at generere nye, kreative kompositioner, der fuldt ud udnytter ComfyUI IPAdapter Plus kapaciteter!
Når du behandler høje billeder, kan du støde på en unik udfordring: CLIP Vision encoder, en kernekomponent i IPAdapter-rammen, foretrækker kvadratiske billeder. Denne præference kan føre til beskæringsproblemer, når du direkte forbinder et højt billede til en IPAdapter node, hvilket typisk resulterer i, at kun den centrale del af billedet påvirker output. Derfor kan de øverste og nederste sektioner af dit billede blive ignoreret, hvilket påvirker den samlede kvalitet af det genererede indhold.
For at løse dette problem tilbyder "IPAdapter Tiled" noden en skræddersyet løsning. Den tillader direkte forbindelse af høje billeder ved at segmentere billedet i mindre, håndterbare fliser. Denne metode sikrer, at hver del af dit referencebillede tages i betragtning under genereringsprocessen, hvilket undgår problemet med delvis billedforsømmelse.
En ekstra funktion ved "IPAdapter Tiled" noden er fliser og masker output, der giver en visuel repræsentation af, hvordan dit billede behandles. Denne funktion viser de specifikke fliser, der bruges, og deres tilsvarende masker, hvilket giver dig indsigt i genereringsprocessens indre funktioner. At forstå, hvordan dit billede segmenteres og behandles, kan hjælpe dig med at foretage informerede justeringer for at opnå dine ønskede resultater.
Desuden tillader "IPAdapter Tiled" noden tilpassede maskejusteringer, der tilbyder fleksibilitet til at fremhæve eller koncentrere sig om bestemte sektioner af dit billede. Ved at skræddersy disse masker kan du rette mere opmærksomhed mod specifikke elementer i dit høje billede, hvilket giver forbedret kontrol over resultatet. Denne funktion er uvurderlig til at fremhæve eller minimere bestemte aspekter inden for dit billede, hvilket sikrer, at det genererede indhold stemmer præcist overens med din vision.
Derfor forbedrer inkorporeringen af "IPAdapter Tiled" noden i ComfyUI IPAdapter Plus markant din kapacitet til at håndtere billede-til-billede konditioneringsprojekter, der involverer høje billeder.
Hvordan bruger man ComfyUI IPAdapter Plus til at manipulere og kombinere stilarterne og kompositionerne af referencebilleder for at skabe nye, overbevisende visuelle billeder. ComfyUI IPAdapter Plus tilbyder et kraftfuldt sæt værktøjer til kunstnere og designere til at eksperimentere med, herunder evnen til at overføre stilen fra et billede, bevare kompositionen af et andet, eller endda fusionere både stil og komposition fra forskellige referencer til et enkelt billede.
For at overføre stilen af et referencebillede, ligesom en 1-billedes LoRA, til dit målindhold ved hjælp af ComfyUI IPAdapter Advanced node, følg disse trin:
Opsætning af "IPAdapter Advanced" Node: Begynd med at inkorporere en "IPAdapter Advanced" node i din workflow.
Konfiguration af Noden: Inden for indstillingerne af ComfyUI IPAdapter Advanced node, find "Vægt Type" valgmuligheden. Brug dropdown-menuen til at vælge "Style Transfer (SDXL)." Denne konfiguration dirigerer adapteren til at prioritere overførslen af din referencebilledes visuelle stil til målet.
Justering af Style Transfer "Vægt": Indstillingen "vægt" bestemmer styrken af style transfer. Forøgelse af denne værdi forstærker reference stilen på dit mål billede, hvilket gør effekten mere markant.
For at bevare kompositionen af et referencebillede, mens du genererer et nyt, vil du også bruge ComfyUI IPAdapter Advanced node, men med en anden indstilling:
Opsætning af "IPAdapter Advanced" Node: Som før, tilføj en IPAdapter Advanced node til din workflow.
Konfiguration af Noden: Vælg "Composition (SDXL)" fra "Vægt Type" dropdown. Dette instruerer adapteren til at opretholde de kompositoriske elementer af referencebilledet i den nye generering.
Justering af Composition "Vægt": Juster "vægt" indstillingen for at påvirke, hvor tæt det nye billede overholder kompositionen af referencebilledet. En højere vægt vil strengere håndhæve referenceens komposition.
For projekter, der kræver både stilen af et billede og kompositionen af et andet at blive overført, tilbyder "IPAdapter style & composition SDXL" noden en strømlinet løsning:
Vælg "IPAdapter Style & Composition SDXL" Node: Tilføj denne specialiserede node til dit projekt for samtidig at håndtere stil- og kompositionsoverførsler.
Indlæs Style og Composition Referencer: "IPAdapter Style & Composition SDXL" noden tillader to input, et for billedet, hvis stil du vil overføre, og et andet for billedet, hvis komposition du ønsker at bevare. Indlæs begge referencer tilsvarende.
Konfiguration af "Vægte" for Både Style og Composition: "IPAdapter Style & Composition SDXL" noden giver separate vægtindstillinger for stil og komposition. Juster disse vægte for at balancere indflydelsen af hver reference på det endelige billede. Indstilling af en højere vægt for stil eller komposition vil prioritere det aspekt i det genererede billede.
Ved at følge disse trin og eksperimentere med indstillingerne kan du udnytte ComfyUI IPAdapter Plus til at skabe visuelt fantastiske billeder, der fusionerer det bedste fra begge verdener: den karakteristiske stil af et kunstværk med den gennemførte komposition af et andet.
Hvis du er interesseret i at udforske ComfyUI IPAdapter Plus (IPAdapter V2) Workflow, brug følgende ComfyUI web. Den kommer fuldt udstyret med alle de essentielle kundeknuder og modeller, hvilket muliggør problemfri kreativitet uden behov for manuelle opsætninger. Start med at få praktisk erfaring med det samme!
© Ophavsret 2024 RunComfy. Alle rettigheder forbeholdes.