Updated: 5/28/2024
Velkommen! I denne guiden skal vi utforske de spennende funksjonene til ComfyUI IPAdapter Plus, også kjent som ComfyUI IPAdapter V2.
IPAdapter-modeller er svært kraftige for bilde-til-bilde-kondisjonering, som muliggjør enkel overføring av motivet eller stilen til referansebilder til nye kreasjoner. Tenk på det som en 1-bilde LoRA.
Introduksjonen av IPAdapter Plus (IPAdapter V2) har brakt en mengde nye funksjoner som er rettet mot å forenkle modellintegrasjonsprosessen, forbedre brukervennligheten og utvide kreative muligheter.
Det er viktig å merke seg at oppgradering til ComfyUI IPAdapter Plus (IPAdapter V2) vil gjøre dine tidligere arbeidsflyter, som er avhengige av ComfyUI IPAdapter V1-node, dysfunksjonelle. Følgelig må du bygge prosjektene dine på nytt ved hjelp av ComfyUI IPAdapter Plus.
Vi vil dekke:
Hvis du er interessert i å utforske ComfyUI IPAdapter Plus (IPAdapter V2) Arbeidsflyten, bruk følgende ComfyUI web. Den kommer fullt utstyrt med alle essensielle kundeknuter og modeller, som muliggjør sømløs kreativitet uten behov for manuelle oppsett. Begynn å få hands-on erfaring umiddelbart, eller fortsett med denne veiledningen for å lære hvordan du bruker IPAdapter Plus effektivt.
"Model" og "IPAdapter" inngangene til "IPAdapter" noden er koblet til utgangen av "IPAdapter Unified Loader" noden. Her kan du velge mellom forskjellige IPAdapter-modeller, hver tilpasset ulike behov:
"Image" inngangen til "IPAdapter" noden er referansebildet som brukes til bilde-til-bilde-kondisjonering. Dette er hvor "IPAdapter" noden anvender sine transformative evner, og endrer referansebildet basert på de definerte parameterne og modellens funksjonaliteter. Gjennom denne prosessen genereres nye bilder, som arver egenskaper fra referansebildet og blander dem med den kreative potensialet til IPAdapter-modellen.
Med "Attn Mask" kan du fremheve spesifikke områder av bildet for fokusert behandling eller for å veilede modellens oppmerksomhet, og forbedre eller bevare visse bildeegenskaper mens du styrer modellens fokus.
Parameteren "Weight" justerer intensiteten av de anvendte modifikasjonene; høyere verdier fører til mer uttalte effekter, mens lavere verdier resulterer i mer subtile endringer.
Parameterne "Start At" og "End At" dikterer de innledende og avsluttende trinnene hvor effektene av IPAdapter anvendes, og tilbyr kontroll over prosesseringen.
"Weight Type" for anvendelse av vekt gjennom prosesseringsstadiene varierer, hver påvirker utdataene på en karakteristisk måte:
Når du arbeider med SDXL-modeller, integreres IPAdapter Plus-modellen sømløst og tilpasser seg automatisk egenskapene til SDXL-modellen. Det er imidlertid viktig å justere latent størrelse riktig for å samsvare med kravene til SDXL-modellen.
Ved å tilby et mer omfattende sett med funksjoner, forbedrer ComfyUI IPAdapter Advanced node kontrollen over genereringsprosessen gjennom parametere som "Image Negative", "CLIP Vision", "Combine Embeds", og flere alternativer for "Weight Type", og tilpasser bilder nærmere din kreative visjon.
"Image Negative" parameteren gjør det mulig for deg å definere hva du ikke ønsker skal vises i det endelige bildet. Ved å spesifisere negative eksempler, blir modellen styrt bort fra uønskede elementer, og styrer mot et mer ønskelig resultat. Denne funksjonen er instrumental i å unngå spesifikke temaer, objekter eller mønstre i det genererte bildet, og sikrer at utdataene overholder dine preferanser.
I "IPAdapter Advanced" noden finner du "CLIP Vision" inngangen. Denne kobles til utgangen av "Load CLIP Vision" noden, hvor du kan velge mellom forskjellige CLIP-ViT Modeller.
Hovedforskjellen mellom CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors og CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors ligger i deres størrelse og potensielle kompleksitetshåndtering, hvor sistnevnte er større med 39 milliarder parametere, noe som antyder at den kan tolke mer nyanserte tekst-bilde-forhold enn førstnevntes 32 milliarder parametere.
Sammenlignet med "IPAdapter" noden, åpner "IPAdapter Advanced" noden flere alternativer for "weight type", hver påvirker utdataene på en karakteristisk måte:
"Combine Embeds" funksjonen er essensiell for de som ønsker å slå sammen innganger fra flere kilder til en enkel, sammenhengende visuell utdata. Ved å bruke "Combine Embeds" har du fleksibiliteten til å lage bilder som inkorporerer et bredt spekter av kunstneriske påvirkninger og inspirasjoner, noe som resulterer i virkelig personlige og innovative kreasjoner. Metodene som tilbys for å kombinere embeds, slik som Concat, Add, Subtract, Average og Norm Average, tilbyr forskjellige tilnærminger til å slå sammen disse påvirkningene. Disse vil bli utforsket i detalj i seksjon 4, "ComfyUI IPAdapter Image Merge Funksjon."
I konfigurasjonen nevnt ovenfor, har du kanskje lagt merke til fraværet av FaceID-modellen. For å integrere Face ID-modellen i arbeidsflyten din, kreves to spesifikke noder: "IPAdapter Unified Loader FaceID" Node og "IPAdapter FaceID" Node.
Når du arbeider innenfor "IPAdapter Unified Loader FaceID" noden, kan du velge den nyeste "Face ID Plus V2" fra rullegardinmenyen med tilgjengelige modeller. Denne handlingen instruerer loaderen til automatisk å samle og forberede alle nødvendige avhengigheter unike for Face ID Plus V2-modellen.
Velg CPU som leverandør. Til tross for den potensielle tilgjengeligheten av "en høyytelses GPU, anbefales det å konfigurere Face ID-modellen til å bruke CPU som leverandør. Denne anbefalingen stammer fra fordelen av å bevare verdifull Video RAM (VRAM), en strategi som viser seg å være fordelaktig og hjelper med å optimalisere den totale effektiviteten og effektiviteten i prosjektets ressursallokering.
Hvordan bruke flere referansebilder for å generere et nytt? Her er to metoder for å oppnå dette med ComfyUI's IPAdapter Plus, som gir deg den fleksibiliteten og kontrollen som er nødvendig for kreativ bildegenerering.
For å starte med "Batch Image" noden, må du først velge bildene du ønsker å slå sammen. Disse bildene legges deretter inn i noden, og skaper en enhetlig batch. Denne batchen introduseres deretter i IPAdapter-pipeline, og anvender hvert bilde sekvensielt til genereringsprosessen.
Noden "IPAdapter Advanced" introduserer "Combine Embeds"-alternativene, som gir deg sofistikert kontroll over hvordan flere bilder påvirker genereringen. Disse alternativene—Concat, Add, Subtract, Average og Norm Average—dikterer hvordan embeddings fra forskjellige bilder slås sammen, hver fører til unike resultater:
I det følgende bildet, ved å bruke forskjellige "Combine Embeds," vil du oppnå forskjellige resultater.
For de som søker finere kontroll over hvordan referansebilder vektes i det endelige bildet, tilbyr IPAdapter en løsning gjennom bruk av "IPAdapter Encoder" noder og en "IPAdapter Combine Embeds" node.
Hvert bilde i sammenslåingsprosessen behandles gjennom en IPAdapter encoder node, som koder bildene for kompatibilitet med IPAdapter. Innenfor "IPAdapter Encoder" nodene kan brukere tildele spesifikke vekter til hvert bilde, som dikterer deres innflytelse på den sammenslåtte utdataen. Justering av disse vektene gir nyansert kontroll over dominansen eller subtiliteten til hvert bilde i komposisjonen.
Etter koding av bildene og innstilling av vektene deres, slår "IPAdapter Combine Embeds" noden sammen deres kodede representasjoner. Den kombinerer de positive embeddene fra encoder nodene, og reflekterer den tiltenkte innflytelsen fra hvert bilde på den sammenslåtte utdataen. Denne balanserte embedding er deretter klar for syntese.
Den syntetiserte embedden behandles til slutt av IP Adapter for å produsere det nye bildet. Selv om tilkobling av negative embeds er valgfritt, anbefales det for å bevare datamaskinressurser. Ved å velge noen av de to negative embeddene fra encoder nodene og koble det til IPAdapter noden, optimaliseres prosessen, og minimerer unødvendig beregning og forenkler sammenslåingsprosessen.
Ved å følge disse metodene kan du effektivt slå sammen flere bilder for å generere nye, kreative komposisjoner, og utnytte ComfyUI IPAdapter Plus sine evner fullt ut!
Når du behandler høye bilder, kan du støte på en unik utfordring: CLIP Vision-encoder, en kjernekomponent i IPAdapter-rammeverket, foretrekker iboende kvadratiske bilder. Denne preferansen kan føre til beskjæringsproblemer når du direkte kobler et høyt bilde til en IPAdapter-node, og resulterer ofte i at bare den sentrale delen av bildet påvirker utdataene. Følgelig kan topp- og bunnseksjonene av bildet ditt bli ignorert, og påvirke den totale kvaliteten på det genererte innholdet.
For å løse dette problemet tilbyr "IPAdapter Tiled" noden en skreddersydd løsning. Den tillater direkte tilkobling av høye bilder ved å segmentere bildet i mindre, håndterbare fliser. Denne metoden sikrer at hver del av referansebildet ditt tas i betraktning under genereringsprosessen, og unngår problemet med delvis bildeneglekt.
En tilleggsegenskap ved "IPAdapter Tiled" noden er fliser og masker utgangen, som gir en visuell representasjon av hvordan bildet ditt behandles. Denne funksjonen viser de spesifikke flisene som brukes og deres tilsvarende masker, og gir deg innsikt i den indre virkemåten til genereringsprosessen. Å forstå hvordan bildet ditt segmenteres og behandles kan hjelpe deg med å gjøre informerte justeringer for å oppnå ønskede resultater.
Videre tillater "IPAdapter Tiled" noden tilpassede maskjusteringer, og tilbyr fleksibilitet til å fremheve eller konsentrere seg om bestemte seksjoner av bildet ditt. Ved å skreddersy disse maskene kan du rette mer oppmerksomhet mot spesifikke elementer i det høye bildet, og gi forbedret kontroll over resultatet. Denne funksjonen viser seg å være uvurderlig for å fremheve eller minimalisere visse aspekter innenfor bildet ditt, og sikrer at det genererte innholdet samsvarer nøyaktig med visjonen din.
Derfor forbedrer inkorporeringen av "IPAdapter Tiled" noden i ComfyUI IPAdapter Plus merkbart din kapasitet til å håndtere bilde-til-bilde-kondisjoneringsprosjekter som involverer høye bilder.
Hvordan bruke ComfyUI IPAdapter Plus til å manipulere og kombinere stilene og komposisjonene til referansebilder for å skape nye, overbevisende visuelle bilder. ComfyUI IPAdapter Plus tilbyr en kraftig verktøypakke for kunstnere og designere å eksperimentere med, inkludert muligheten til å overføre stilen til ett bilde, beholde komposisjonen til et annet, eller til og med slå sammen både stil og komposisjon fra forskjellige referanser til et enkelt bilde.
For å overføre stilen til et referansebilde, som en 1-bilde LoRA, til ditt målbilde ved bruk av ComfyUI IPAdapter Advanced node, følg disse trinnene:
Sette Opp "IPAdapter Advanced" Node: Begynn med å inkorporere en "IPAdapter Advanced" node i arbeidsflyten din.
Konfigurere Noden: Innenfor innstillingene til ComfyUI IPAdapter Advanced node, finn "Weight Type"-alternativet. Bruk rullegardinmenyen for å velge "Style Transfer (SDXL)." Denne konfigurasjonen instruerer adapteren til å prioritere overføringen av visuell stil fra referansebildet ditt til målet.
Justere Stiloverføringsvekten: "weight"-innstillingen bestemmer styrken til stiloverføringen. Å øke denne verdien forsterker innflytelsen av referansestilen på målbilde, og gjør effekten mer distinkt.
For å beholde komposisjonen til et referansebilde mens du genererer et nytt, vil du også bruke ComfyUI IPAdapter Advanced node, men med en annen innstilling:
Sette Opp "IPAdapter Advanced" Node: Som tidligere, legg til en IPAdapter Advanced node til arbeidsflyten din.
Konfigurere Noden: Velg "Composition (SDXL)" fra "Weight Type"-rullegardinmenyen. Dette instruerer adapteren til å opprettholde de komposisjonelle elementene til referansebildet i den nye generasjonen.
Justere Komposisjonsvekten: Endre "weight"-innstillingen for å påvirke hvor nært det nye bildet følger komposisjonen til referansen. En høyere vekt vil mer strengt håndheve referansens komposisjon.
For prosjekter som krever både stilen til ett bilde og komposisjonen til et annet å bli overført, tilbyr "IPAdapter style & composition SDXL" noden en strømlinjeformet løsning:
Velg "IPAdapter Style & Composition SDXL" Node: Legg til denne spesialiserte noden til prosjektet ditt for samtidig å håndtere stil- og komposisjonsoverføringer.
Last Stil- og Komposisjonsreferanser: "IPAdapter Style & Composition SDXL" noden tillater to innganger, en for bildet hvis stil du vil overføre og en annen for bildet hvis komposisjon du ønsker å beholde. Last begge referansene tilsvarende.
Konfigurere "Vekter" for både Stil og Komposisjon: "IPAdapter Style & Composition SDXL" noden gir separate vektinnstillinger for stil og komposisjon. Juster disse vektene for å balansere innflytelsen fra hver referanse på det endelige bildet. Å sette en høyere vekt for stil eller komposisjon vil prioritere det aspektet i det genererte bildet.
Ved å følge disse trinnene og eksperimentere med innstillingene, kan du utnytte ComfyUI IPAdapter Plus til å skape visuelt imponerende bilder som kombinerer det beste fra begge verdener: den karakteristiske stilen til et kunstverk med den gjennomtenkte komposisjonen til et annet.
Hvis du er interessert i å utforske ComfyUI IPAdapter Plus (IPAdapter V2) Arbeidsflyten, bruk følgende ComfyUI web. Den kommer fullt utstyrt med alle essensielle kundeknuter og modeller, som muliggjør sømløs kreativitet uten behov for manuelle oppsett. Begynn å få hands-on erfaring umiddelbart!
© Opphavsrett 2024 RunComfy. Alle Rettigheter Forbeholdt.