AnimateDiff + ControlNet + IPAdapter V1 | Japansk Anime-Stil

Detta arbetsflöde är inspirerat av med vissa modifieringar. För mer information, vänligen besök hans YouTube-kanal.

1. ComfyUI Workflow: AnimateDiff + ControlNet + IPAdapter | Japansk Anime-Stil

Detta arbetsflöde låter dig förvandla vanliga videor till förtrollande japanska anime-skapelser med hjälp av AnimateDiff, ControlNet och IPAdapter. Känn dig fri att experimentera med olika checkpoints, LoRA-inställningar och referensbilder för IPAdapter för att skapa din unika stil. Det är ett roligt och kreativt sätt att ge liv åt dina videor i anime-världen!

2. Översikt över AnimateDiff

Vänligen se detaljerna på

3. Hur man använder ControlNet

3.1. Förstå ControlNet

ControlNet revolutionerar sättet vi skapar bilder genom att ge en ny nivå av rumslig kontroll till text-till-bild-diffusionsmodeller. Denna banbrytande neurala nätverksarkitektur samarbetar vackert med jättar som Stable Diffusion, och utnyttjar deras enorma bibliotek—skapade från miljarder bilder—för att väva rumsliga nyanser direkt in i bildskapandet. Från att skissa ut kanter till att kartlägga mänskliga ställningar, djupuppfattning eller segmentera visuella element, ControlNet ger dig möjligheten att forma bilderna på sätt som går långt bortom textbaserade kommandon.

3.2. Innovationen av ControlNet

I grunden är ControlNet genialt enkel. Det börjar med att skydda integriteten hos den ursprungliga modellens parametrar—bevarar den grundläggande träningen intakt. Sedan introducerar ControlNet en spegeluppsättning av modellens kodningslager, men med en twist: de tränas med "zero convolutions." Dessa nollor som startpunkt innebär att lagren varsamt väver in nya rumsliga förutsättningar utan att orsaka oreda, vilket säkerställer att modellens ursprungliga talanger bevaras även när den ger sig ut på nya inlärningsvägar.

3.3. Förstå ControlNets och T2I-Adapters

Både ControlNets och T2I-Adapters spelar avgörande roller i bildgenereringens konditionering, med var och en som erbjuder unika fördelar. T2I-Adapters är kända för sin effektivitet, särskilt när det gäller att påskynda bildgenereringsprocessen. Trots detta är ControlNets oöverträffade i sin förmåga att intrikat styra genereringsprocessen, vilket gör dem till ett kraftfullt verktyg för kreatörer.

Med tanke på överlappningen i funktioner mellan många T2I-Adapter och ControlNet-modeller, kommer vår diskussion främst att fokusera på ControlNets. Det är dock värt att notera att RunComfy-plattformen har förinstallerat flera T2I-Adapter-modeller för enkel användning. För de som är intresserade av att experimentera med T2I-Adapters, kan du sömlöst ladda dessa modeller och integrera dem i dina projekt.

Att välja mellan ControlNet och T2I-Adapter-modeller i ComfyUI påverkar inte användningen av ControlNet-noder eller arbetsflödets konsekvens. Denna enhetlighet säkerställer en strömlinjeformad process, vilket tillåter dig att utnyttja de unika fördelarna med varje modelltyp enligt ditt projekts behov.

3.4. Användning av ControlNet-noder

3.4.1. Ladda "Apply ControlNet"-noden

För att börja, måste du ladda "Apply ControlNet"-noden i din ComfyUI. Detta är ditt första steg mot en dubbelt konditionerad bildskapande resa, som blandar visuella element med textuella kommandon.

3.4.2. Förstå ingångarna till "Apply ControlNet"-noden

Positiv och negativ konditionering: Dessa är dina verktyg för att forma den slutliga bilden—vad den ska omfamna och vad den ska undvika. Anslut dessa till "Positive prompt" och "Negative prompt"-platserna för att synkronisera dem med den textbaserade delen av din kreativa riktning.

Välja ControlNet-modellen: Du måste länka denna ingång till "Load ControlNet Model"-nodens utgång. Här bestämmer du om du ska använda en ControlNet eller en T2IAdaptor-modell baserat på de specifika egenskaper eller stilar du siktar på. Medan vi fokuserar på ControlNet-modeller, är det värt att nämna några eftertraktade T2IAdaptors för en komplett bild.

Förbearbetning av din bild: Anslut din bild till en "ControlNet Preprocessor"-nod, vilket är avgörande för att säkerställa att din bild är ControlNet-redo. Det är viktigt att matcha preprocessorn med din ControlNet-modell. Detta steg justerar din ursprungliga bild för att passa modellens behov perfekt—ändra storlek, färgjustera eller applicera nödvändiga filter—förbereder den för användning av ControlNet.

3.4.3. Förstå utgångarna från "Apply ControlNet"-noden

Efter bearbetning presenterar "Apply ControlNet"-noden dig två utgångar som reflekterar den sofistikerade samverkan mellan ControlNet och din kreativa insats: Positiv och negativ konditionering. Dessa utgångar styr diffusionsmodellen inom ComfyUI, vilket leder till ditt nästa val: förfina bilden med KSampler eller fördjupa dig genom att stapla fler ControlNets för de som söker oöverträffad detalj och anpassning.

3.4.4. Justera "Apply ControlNet" för bästa resultat

Bestämma styrka: Denna inställning kontrollerar hur mycket ControlNet påverkar den resulterande bilden. En full styrka på 1.0 innebär att ControlNet's input styr, medan en lägre inställning på 0.0 låter modellen köras utan ControlNet's inflytande.

Justera startprocent: Detta anger när ControlNet börjar bidra under diffusionsprocessen. Till exempel, en start på 20% innebär att från en femtedel av vägen igenom, börjar ControlNet göra sitt avtryck.

Ställa in slutprocent: Detta är motsatsen till startprocenten, markerar när ControlNet slutar påverka. Om du ställer in det på 80%, avtar ControlNet's inflytande när bilden närmar sig sitt slutstadium, orörd av ControlNet i den sista sträckan.

3.5. Guide till ControlNet-modeller: Openpose, Depth, SoftEdge, Canny, Lineart, Tile

3.5.1. ControlNet-modell: Openpose

• Openpose (även kallad Openpose body): Denna modell fungerar som hörnstenen i ControlNet för att identifiera nyckelpunkter på människokroppen, såsom ögon, näsa, nacke, axlar, armbågar, handleder, knän och vrister. Den är perfekt för att replikera enkla mänskliga poser.
• Openpose_face: Denna version av Openpose tar det ett steg längre genom att upptäcka ansiktsnyckelpunkter, vilket möjliggör en nyanserad analys av ansiktsuttryck och ansiktsriktning. Om ditt projekt är centrerat kring ansiktsuttryck är denna modell avgörande.
• Openpose_hand: Denna förbättring av Openpose-modellen fokuserar på de fina detaljerna i hand- och fingerrörelser, vilket är nyckeln till en detaljerad förståelse av handgester och positionering. Det breddar vad Openpose kan göra inom ControlNet.
• Openpose_faceonly: Utformad för analys av ansiktsdetaljer, hoppar denna modell över kroppens nyckelpunkter för att enbart fokusera på ansiktsuttryck och orientering. När ansiktsdrag är allt som betyder, är detta modellen att välja.
• Openpose_full: Denna helhetsmodell integrerar kapaciteterna hos Openpose, Openpose_face och Openpose_hand för fullständig kropps-, ansikts- och handnyckelpunktdetektion, vilket gör den till det självklara valet för omfattande analys av mänskliga poser inom ControlNet.
• DW_Openpose_full: Bygger på Openpose_full, denna modell introducerar ytterligare förbättringar för överlägsen detalj- och noggrannhet i posdetektering. Det är den mest avancerade versionen som finns tillgänglig i ControlNet-sviten.

Förprocessoralternativ inkluderar: Openpose eller DWpose

3.5.2. ControlNet-modell: Depth

Depth-modeller använder en 2D-bild för att inferera djup, representerande det som en gråskalekarta. Varje modell har sina styrkor när det gäller detalj eller bakgrundsfokus:

• Depth Midas: Ett balanserat tillvägagångssätt för djupuppskattning, Depth Midas erbjuder en medelväg i detaljering och bakgrundsavbildning.
• Depth Leres: Lägger tonvikten på detaljer samtidigt som bakgrundselement fortfarande fångas mer framträdande.
• Depth Leres++: Pressar gränserna för detalj i djupinformation, vilket är särskilt användbart för komplexa scener.
• Zoe: Hittar en balans mellan detaljnivåerna hos Midas och Leres-modeller.
• Depth Anything: En förbättrad modell för mångsidig djupuppskattning över olika scener.
• Depth Hand Refiner: Specifikt finjusterar detaljerna för händer i djupkartor, vilket gör den ovärderlig för scener där exakt handplacering är avgörande.

Förprocessorer att överväga: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Denna modell utmärker sig i robusthet och kompatibilitet med faktiska djupkartor från renderingsmotorer.

3.5.3. ControlNet-modell: SoftEdge

ControlNet Soft Edge är utformad för att producera bilder med mjukare kanter, förbättra detaljer samtidigt som en naturlig look bibehålls. Den använder banbrytande neurala nätverk för förfinad bildmanipulation, vilket erbjuder omfattande kreativ kontroll och felfri integration.

När det gäller robusthet: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

För de högsta kvalitetsresultaten: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

Som en allmän rekommendation är SoftEdge_PIDI det bästa valet eftersom det vanligtvis levererar utmärkta resultat.

Förprocessorer inkluderar: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.

3.5.4. ControlNet-modell: Canny

Canny-modellen implementerar Canny edge detection för att framhäva ett brett spektrum av kanter inom bilder. Denna modell är utmärkt för att bibehålla integriteten hos strukturella element samtidigt som den förenklar bildens övergripande utseende, vilket hjälper till att skapa stiliserad konst eller förbereda bilder för ytterligare manipulation.

Tillgängliga förprocessorer: Canny

3.5.5. ControlNet-modell: Lineart

Lineart-modeller är dina verktyg för att omvandla bilder till stiliserade linjeteckningar, lämpliga för en mängd konstnärliga tillämpningar:

• Lineart: Standardvalet för att omvandla bilder till linjeteckningar, vilket ger en mångsidig utgångspunkt för olika konstnärliga eller kreativa projekt.
• Lineart anime: Anpassad för att skapa rena, precisa anime-stil linjeteckningar, perfekt för projekt som siktar på en anime-inspirerad look.
• Lineart realistic: Syftar till att fånga en mer verklighetstrogen representation i linjeteckningar, vilket erbjuder mer detalj för projekt som kräver realism.
• Lineart coarse: Betonar djärvare, mer uttalade linjer för en slående visuell effekt, idealisk för djärva grafiska uttalanden.

Tillgängliga förprocessorer kan producera antingen detaljerad eller mer uttalad lineart (Lineart och Lineart_Coarse).

3.5.6. ControlNet-modell: Tile

Tile Resample-modellen utmärker sig i att framhäva detaljer i bilder. Den är särskilt effektiv när den används tillsammans med en uppskalare för att förbättra bildens upplösning och detaljer, ofta tillämpad för att skärpa och berika bildens texturer och element.

Rekommenderad förprocessor: Tile

3.6. Guide till att använda flera ControlNet

Att inkorporera flera ControlNets eller T2I-Adapters möjliggör sekventiell tillämpning av olika konditioneringstyper till din bildgenereringsprocess. Till exempel, du kan kombinera Lineart och OpenPose ControlNets för förbättrad detaljering.

Lineart för objektform: Börja med att integrera en Lineart ControlNet för att lägga till djup och detalj till objekt eller element i dina bilder. Denna process innebär att förbereda en lineart eller canny-karta för objekten du vill inkludera.

OpenPose för posekontroll: Efter lineart-detaljeringen, använd OpenPose ControlNet för att bestämma poserna för individer inom din bild. Du kommer att behöva generera eller skaffa en OpenPose-karta som fångar den önskade posen.

Sekventiell tillämpning: För att effektivt kombinera dessa effekter, länka utgången från Lineart ControlNet till OpenPose ControlNet. Denna metod säkerställer att både posen för subjekten och formerna för objekten samtidigt guidas under genereringsprocessen, vilket skapar ett resultat som harmoniskt stämmer överens med alla inmatningsspecifikationer.

4. Översikt över IPAdapter

Vänligen se detaljerna på ## 4. Översikt över IPAdapter

Vänligen se detaljerna på