© Opphavsrett 2024 RunComfy. Alle Rettigheter Forbeholdt.
Denne arbeidsflyten er inspirert av enigmatic_e med noen modifikasjoner. For mer informasjon, vennligst besøk hans YouTube-kanal.
Denne arbeidsflyten lar deg transformere standardvideoer til fortryllende japanske anime-kreasjoner ved hjelp av AnimateDiff, ControlNet og IPAdapter. Føl deg fri til å eksperimentere med ulike sjekkpunkter, LoRA-innstillinger og referansebilder for IPAdapter for å skape din unike stil. Det er en morsom og kreativ måte å bringe videoene dine til live i anime-verdenen!
Vennligst sjekk ut detaljene på How to use AnimateDiff in ComfyUI
ControlNet revolusjonerer måten vi genererer bilder på ved å bringe et nytt nivå av romlig kontroll til tekst-til-bilde-diffusjonsmodeller. Denne banebrytende nevrale nettverksarkitekturen samarbeider vakkert med giganter som Stable Diffusion, og utnytter deres enorme biblioteker—smidd fra milliarder av bilder—for å veve romlige nyanser direkte inn i bildeskapingens stoff. Fra å skissere kanter til å kartlegge menneskelige positurer, dybdeoppfattelse eller segmentere visuelle elementer, gir ControlNet deg muligheten til å forme bildene på måter som går langt utover tekstpromptenes omfang.
I sin kjerne er ControlNet genialt enkel. Den begynner med å sikre integriteten til den opprinnelige modellens parametere—holder den grunnleggende treningen intakt. Deretter introduserer ControlNet et speilsatt sett av modellens kodingslag, men med en vri: de trenes ved hjelp av "zero convolutions." Disse nullene som utgangspunkt betyr at lagene forsiktig foldes inn nye romlige forhold uten å forårsake uro, og sikrer at modellens opprinnelige talenter bevares selv når den går inn på nye læringsveier.
Både ControlNets og T2I-Adapters spiller avgjørende roller i kondisjoneringen av bildegenerering, med hver som tilbyr distinkte fordeler. T2I-Adapters er anerkjent for sin effektivitet, spesielt når det gjelder å akselerere bildegenereringsprosessen. Til tross for dette er ControlNets uovertruffen i sin evne til å intrikat veilede genereringsprosessen, noe som gjør dem til et kraftig verktøy for skapere.
Gitt overlappen i funksjonaliteter mellom mange T2I-Adapter og ControlNet-modeller, vil vår diskusjon primært fokusere på ControlNets. Likevel er det verdt å merke seg at RunComfy-plattformen har forhåndslastet flere T2I-Adapter-modeller for enkel bruk. For de som er interessert i å eksperimentere med T2I-Adapters, kan du sømløst laste disse modellene og integrere dem i prosjektene dine.
Å velge mellom ControlNet og T2I-Adapter-modeller i ComfyUI påvirker ikke bruken av ControlNet-noder eller arbeidsflytens konsistens. Denne ensartetheten sikrer en strømlinjeformet prosess, som lar deg utnytte de unike fordelene ved hver modelltype i henhold til prosjektbehovene dine.
3.4.1. Laste "Apply ControlNet" Node
For å begynne, må du laste "Apply ControlNet" Node inn i din ComfyUI. Dette er ditt første skritt mot en dobbeltkondisjonert bildehåndverksreise, som blander visuelle elementer med tekstlige prompt.
3.4.2. Forstå inngangene til "Apply ControlNet" Node
Positive og Negative Conditioning: Dette er dine verktøy for å forme det endelige bildet—hva det skal omfavne og hva det skal unngå. Koble disse til "Positive prompt" og "Negative prompt" sporene for å synkronisere dem med den tekstbaserte delen av din kreative retning.
Velge ControlNet-modellen: Du må koble denne inngangen til "Load ControlNet Model" nodens utgang. Dette er hvor du bestemmer om du vil bruke en ControlNet eller en T2IAdaptor-modell basert på de spesifikke egenskapene eller stilene du sikter mot. Selv om vi fokuserer på ControlNet-modeller, er det verdt å nevne noen ettertraktede T2IAdaptors for en helhetlig oversikt.
Forbehandle bildet ditt: Koble bildet ditt til en "ControlNet Preprocessor" node, som er avgjørende for å sikre at bildet ditt er ControlNet-klar. Det er viktig å matche preprosessoren til din ControlNet-modell. Dette trinnet justerer ditt originale bilde for å passe modellens behov perfekt—endre størrelsen, fargelegging eller anvende nødvendige filtre—og forberede det for bruk av ControlNet.
3.4.3. Forstå utgangene til "Apply ControlNet" Node
Etter behandling presenterer "Apply ControlNet" noden deg med to utganger som reflekterer det sofistikerte samspillet mellom ControlNet og ditt kreative innspill: Positive og Negative Conditioning. Disse utgangene veileder diffusjonsmodellen innen ComfyUI, som leder deg til ditt neste valg: finjustere bildet ved hjelp av KSampler eller dykke dypere ved å stable flere ControlNets for de som søker uovertruffen detalj og tilpasning.
3.4.4. Justere "Apply ControlNet" for beste resultater
Bestemme styrke: Denne innstillingen kontrollerer hvor mye ControlNet påvirker det resulterende bildet. En full-on 1.0 betyr at ControlNets innspill har tøylene, mens å skru ned til 0.0 lar modellen kjøre uten ControlNets innflytelse.
Justere startprosent: Dette forteller deg når ControlNet begynner å bidra under diffusjonsprosessen. For eksempel betyr en 20% start at fra en femtedel av veien gjennom, begynner ControlNet å gjøre sin innvirkning.
Sette sluttprosent: Dette er den andre siden av startprosenten, som markerer når ControlNet trekker seg tilbake. Hvis du setter den til 80%, forsvinner ControlNets innflytelse når bildet nærmer seg de siste stadiene, uberørt av ControlNet i den siste delen.
3.5.1. ControlNet-modell: Openpose
Preprosessoralternativer inkluderer: Openpose eller DWpose
3.5.2. ControlNet-modell: Depth
Dybdemodeller bruker et 2D-bilde for å utlede dybde, representert som et gråtonet kart. Hver har sine styrker når det gjelder detalj eller bakgrunnsfokus:
Preprosessorer å vurdere: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Denne modellen utmerker seg i robusthet og kompatibilitet med faktiske dybdekart fra renderingmotorer.
3.5.3. ControlNet-modell: SoftEdge
ControlNet Soft Edge er laget for å produsere bilder med mykere kanter, forbedre detaljer mens de opprettholder et naturlig utseende. Den bruker banebrytende nevrale nettverk for raffinert bildemanipulering, og tilbyr omfattende kreativ kontroll og feilfri integrasjon.
Når det gjelder robusthet: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED
For de beste kvalitetsresultatene: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe
Som en generell anbefaling er SoftEdge_PIDI det foretrukne alternativet da det vanligvis gir utmerkede resultater.
Preprosessorer inkluderer: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.
3.5.4. ControlNet-modell: Canny
Canny-modellen implementerer Canny kantdeteksjon for å fremheve et bredt spekter av kanter innen bilder. Denne modellen er utmerket for å opprettholde integriteten til strukturelle elementer mens den forenkler bildets overordnede utseende, noe som bidrar til å skape stilisert kunst eller forberede bilder for ytterligere manipulering.
Tilgjengelige preprosessorer: Canny
3.5.5. ControlNet-modell: Lineart
Lineart-modeller er dine verktøy for å transformere bilder til stiliserte linjetegninger, egnet for en rekke kunstneriske anvendelser:
Tilgjengelige preprosessorer kan produsere enten detaljerte eller mer uttalte linjetegninger (Lineart og Lineart_Coarse).
3.5.6. ControlNet-modell: Tile
Tile Resample-modellen utmerker seg i å bringe frem detaljer i bilder. Den er spesielt effektiv når den brukes sammen med en oppskalerer for å forbedre oppløsning og detaljer, ofte brukt til å skjerpe og berike bildeteksturer og elementer.
Anbefalt preprosessor: Tile
Å inkorporere flere ControlNets eller T2I-Adapters gjør det mulig å sekvensielt anvende forskjellige kondisjonstyper til bildegenereringsprosessen din. For eksempel kan du kombinere Lineart og OpenPose ControlNets for forbedret detaljering.
Lineart for Objektform: Start med å integrere en Lineart ControlNet for å legge til dybde og detaljer til objekter eller elementer i bildene dine. Denne prosessen involverer forberedelse av et lineart- eller canny-kart for objektene du ønsker å inkludere.
OpenPose for Posisjonskontroll: Etter lineart-detaljeringen, bruk OpenPose ControlNet for å diktere posisjonen til individene i bildet ditt. Du må generere eller skaffe et OpenPose-kart som fanger den ønskede posisjonen.
Sekvensiell anvendelse: For effektivt å kombinere disse effektene, koble utgangen fra Lineart ControlNet til OpenPose ControlNet. Denne metoden sikrer at både posisjonen til subjektene og formene til objektene samtidig veiledes under genereringsprosessen, og skaper et utfall som harmonisk samsvarer med alle inngangsspesifikasjoner.
Vennligst sjekk ut detaljene på How to use IPAdapter in ComfyUI