© Ophavsret 2024 RunComfy. Alle rettigheder forbeholdes.
Denne arbejdsgang er inspireret af enigmatic_e med nogle modifikationer. For mere information, besøg venligst hans YouTube-kanal.
Denne arbejdsgang lader dig transformere standardvideoer til fortryllende japanske anime-skabelser ved brug af AnimateDiff, ControlNet og IPAdapter. Eksperimentér gerne med forskellige checkpoints, LoRA-indstillinger og referencebilleder for IPAdapter for at skabe din unikke stil. Det er en sjov og kreativ måde at bringe dine videoer til live i anime-verdenen!
Tjek venligst detaljerne på How to use AnimateDiff in ComfyUI
ControlNet revolutionerer måden, vi genererer billeder på, ved at bringe et nyt niveau af rumlig kontrol til tekst-til-billede diffusionsmodeller. Denne banebrydende neurale netværksarkitektur samarbejder smukt med giganter som Stable Diffusion, der udnytter deres enorme biblioteker—smedet fra milliarder af billeder—til at væve rumlige nuancer direkte ind i billedskabelsens stof. Fra at skitsere kanter til at kortlægge menneskelige stillinger, dybdeopfattelse eller segmentering af visuelle elementer, giver ControlNet dig mulighed for at forme billedet på måder, der går langt ud over omfanget af blot tekstprompter.
I sin kerne er ControlNet genialt enkelt. Det starter med at beskytte integriteten af den oprindelige models parametre—bevarer den grundlæggende træning intakt. Derefter introducerer ControlNet et spejlsæt af modellens kodningslag, men med et twist: de er trænet ved hjælp af "zero convolutions." Disse nuller som udgangspunkt betyder, at lagene forsigtigt folder nye rumlige betingelser ind uden at skabe ballade, hvilket sikrer, at modellens oprindelige talenter bevares, selv når den begiver sig ud på nye læringsveje.
Både ControlNets og T2I-Adapters spiller afgørende roller i konditioneringen af billedgenerering, hvor hver tilbyder unikke fordele. T2I-Adapters er kendt for deres effektivitet, især med hensyn til at fremskynde billedgenereringsprocessen. På trods af dette er ControlNets uden sidestykke i deres evne til dybtgående at styre genereringsprocessen, hvilket gør dem til et kraftfuldt værktøj for skabere.
I betragtning af overlapningen i funktionaliteter mellem mange T2I-Adapter og ControlNet-modeller, vil vores diskussion primært fokusere på ControlNets. Det er dog værd at bemærke, at RunComfy-platformen har forudindlæst flere T2I-Adapter-modeller for nem brug. For dem, der er interesserede i at eksperimentere med T2I-Adapters, kan du problemfrit indlæse disse modeller og integrere dem i dine projekter.
Valget mellem ControlNet og T2I-Adapter-modeller i ComfyUI påvirker ikke brugen af ControlNet-noder eller arbejdsgangens konsistens. Denne ensartethed sikrer en strømlinet proces, der giver dig mulighed for at udnytte de unikke fordele ved hver modeltype i henhold til dine projektbehov.
3.4.1. Indlæsning af "Apply ControlNet"-node
For at begynde skal du indlæse "Apply ControlNet"-noden i din ComfyUI. Dette er dit første skridt mod en dobbeltkonditioneret billedskabelsesrejse, der blander visuelle elementer med tekstuelle prompter.
3.4.2. Forståelse af inputtene i "Apply ControlNet"-noden
Positiv og negativ konditionering: Disse er dine værktøjer til at forme det endelige billede—hvad det skal omfavne og hvad det skal undgå. Forbind disse til "Positive prompt" og "Negative prompt" slots for at synkronisere dem med den tekstbaserede del af din kreative retning.
Valg af ControlNet-model: Du skal linke dette input til "Load ControlNet Model"-nodens output. Dette er, hvor du beslutter, om du vil bruge en ControlNet eller en T2IAdaptor-model baseret på de specifikke træk eller stilarter, du sigter efter. Mens vi fokuserer på ControlNet-modeller, er det værd at nævne nogle eftertragtede T2IAdaptors for et velafrundet syn.
Forbehandling af dit billede: Forbind dit billede til en "ControlNet Preprocessor"-node, som er afgørende for at sikre, at dit billede er ControlNet-klar. Det er vigtigt at matche preprocessoren med din ControlNet-model. Dette trin justerer dit originale billede, så det passer perfekt til modellens behov—ændring af størrelse, farvelægning eller anvendelse af nødvendige filtre—så det er klar til brug af ControlNet.
3.4.3. Forståelse af outputtene i "Apply ControlNet"-noden
Efter behandling præsenterer "Apply ControlNet"-noden dig for to output, der afspejler det sofistikerede samspil mellem ControlNet og dit kreative input: Positiv og negativ konditionering. Disse output guider diffusionsmodellen inden for ComfyUI, hvilket fører til dit næste valg: forfine billedet ved hjælp af KSampler eller dykke dybere ved at stable flere ControlNets for dem, der søger uovertruffen detalje og tilpasning.
3.4.4. Finjustering af "Apply ControlNet" for de bedste resultater
Bestemmelse af styrke: Denne indstilling styrer, hvor meget ControlNet påvirker det resulterende billede. En fuld 1.0 betyder, at ControlNets input har tøjlerne, mens en nedjustering til 0.0 lader modellen køre uden ControlNets indflydelse.
Justering af startprocent: Dette fortæller dig, hvornår ControlNet begynder at bidrage under diffusionsprocessen. For eksempel betyder en start på 20%, at fra en femtedel af vejen igennem begynder ControlNet at gøre sin indflydelse gældende.
Indstilling af slutprocent: Dette er den anden side af startprocenten, der markerer, hvornår ControlNet trækker sig tilbage. Hvis du indstiller det til 80%, forsvinder ControlNets indflydelse, når billedet nærmer sig sine sidste faser, uden at blive rørt af ControlNet i den sidste strækning.
3.5.1. ControlNet Model: Openpose
Preprocessor-muligheder inkluderer: Openpose eller DWpose
3.5.2. ControlNet Model: Depth
Dybdemodeller bruger et 2D-billede til at udlede dybde, repræsenteret som et gråtonekort. Hver har sine styrker i forhold til detaljer eller baggrundsfokus:
Preprocessorer at overveje: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Denne model udmærker sig i robusthed og kompatibilitet med faktiske dybdekort fra rendering engines.
3.5.3. ControlNet Model: SoftEdge
ControlNet Soft Edge er designet til at producere billeder med blødere kanter, hvilket forbedrer detaljer, mens det opretholder et naturligt udseende. Det udnytter avancerede neurale netværk til raffineret billedmanipulation og tilbyder omfattende kreativ kontrol og fejlfri integration.
Med hensyn til robusthed: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED
For de højeste kvalitetsresultater: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe
Som en generel anbefaling er SoftEdge_PIDI den foretrukne mulighed, da den typisk leverer fremragende resultater.
Preprocessorer inkluderer: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.
3.5.4. ControlNet Model: Canny
Canny-modellen implementerer Canny kantdetektion til at fremhæve et bredt spektrum af kanter inden for billeder. Denne model er fremragende til at opretholde integriteten af strukturelle elementer, samtidig med at den forenkler billedets overordnede udseende, hvilket hjælper med at skabe stiliseret kunst eller forberede billeder til yderligere manipulation.
Preprocessorer tilgængelige: Canny
3.5.5. ControlNet Model: Lineart
Lineart-modeller er dine værktøjer til at transformere billeder til stiliserede linjetegninger, velegnede til en række kunstneriske anvendelser:
Preprocessorer tilgængelige kan producere enten detaljeret eller mere udtalt lineart (Lineart og Lineart_Coarse).
3.5.6. ControlNet Model: Tile
Tile Resample-modellen udmærker sig i at fremhæve detaljer i billeder. Det er især effektivt, når det bruges sammen med en op-skaler til at forbedre billedopløsning og detaljer, ofte anvendt til at skærpe og berige billedteksturer og elementer.
Preprocessor anbefalet: Tile
Inkorporering af flere ControlNets eller T2I-Adapters tillader sekventiel anvendelse af forskellige konditioneringstyper til din billedgenereringsproces. For eksempel kan du kombinere Lineart og OpenPose ControlNets for forbedret detaljering.
Lineart for objektform: Start med at integrere en Lineart ControlNet for at tilføje dybde og detaljer til objekter eller elementer i dine billeder. Denne proces involverer forberedelse af et lineart eller canny-kort for de objekter, du ønsker at inkludere.
OpenPose for posekontrol: Efter lineart detaljering, brug OpenPose ControlNet til at diktere posen af individer inden for dit billede. Du skal generere eller erhverve et OpenPose-kort, der fanger den ønskede pose.
Sekventiel anvendelse: For effektivt at kombinere disse effekter, link output fra Lineart ControlNet til OpenPose ControlNet. Denne metode sikrer, at både posen af emnerne og formerne af objekterne styres samtidigt under genereringsprocessen, hvilket skaber et resultat, der harmonisk passer til alle inputspecifikationer.
Tjek venligst detaljerne på How to use IPAdapter in ComfyUI