AnimateDiff ComfyUI Workflow/Tutorial - Stable Diffusion Animatie

Hallo daar! Heb je ooit verbaasd gestaan over het idee om tekst om te zetten in video's? Dit is niet helemaal nieuw, maar het wordt steeds spannender. Vandaag gaan we het hebben over een van deze coole tools, AnimateDiff in de ComfyUI-omgeving. Of je nu een digitale kunstenaar bent of gewoon graag nieuwe technologieën verkent, AnimateDiff biedt een opwindende manier om je tekstideeën om te zetten in geanimeerde GIF's en video's.

We zullen behandelen:

1. Hoe werkt AnimateDiff?
2. ComfyUI AnimateDiff Workflow - Geen Installatie Nodig, Helemaal Gratis
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Nieuwe Motion Module in Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. AnimateDiff Instellingen: Hoe gebruik je AnimateDiff in ComfyUI
   • AnimateDiff Modellen
   • CheckPoint Modellen voor AnimateDiff
   • Beta Schema
   • Motion Scale
   • Context Batch Size Bepaalt Animatielengte
   • Context Lengte
   • Motion LoRA voor Camera Dynamiek (Alleen AnimateDiff v2)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Reizen / Prompt Planning
7. ComfyUI Hires Fix - Je Animaties Verbeteren
8. Klaar-voor-gebruik ComfyUI AnimateDiff Workflow: Stable Diffusion Animatie Verkennen

1. Hoe werkt AnimateDiff?

De kern van AnimateDiff is een motion modeling module. Denk eraan als het brein van de operatie, dat alles leert over beweging uit verschillende videoclips. Het is als een dansleraar die elke beweging in het boek kent. Deze module integreert naadloos in voorgetrainde tekst-naar-beeld modellen. Dus je bent niet langer beperkt tot statische afbeeldingen – je creaties kunnen dansen, springen en draaien!

2. ComfyUI AnimateDiff Workflow - Geen Installatie Nodig, Helemaal Gratis

Bekijk de video hierboven die is gemaakt met behulp van de ComfyUI AnimateDiff workflow. Nu kun je direct duiken in deze Animatediff Workflow zonder enige installatieproblemen. We hebben alles voor je opgezet in een cloud-gebaseerde ComfyUI, compleet met de AnimateDiff workflow en alle essentiële modellen en aangepaste knooppunten van Animatediff V3, Animatediff SDXL en Animatediff V2.

Voel je vrij om te experimenteren en ermee te spelen. Of je kunt doorgaan met het lezen van deze tutorial over hoe je AnimateDiff kunt gebruiken en het later proberen.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Laten we een wandeling maken door de verschillende versies van AnimateDiff. Elke versie heeft zijn eigen charme, dus maak je klaar voor een snelle rondleiding!

3.1. AnimateDiff V3: Nieuwe Motion Module in Animatediff

AnimateDiff V3 is niet zomaar een nieuwe versie, het is een evolutie in motion module technologie, met verfijnde functies. De motion module v3_sd15_mm.ckpt is het hart van deze versie, verantwoordelijk voor genuanceerde en flexibele animaties.

Laten we de technische magie erachter uitleggen. De sterspeler hier is de Domain Adapter LoRA module, die in wezen een primer is voor de motion module. Door training op statische frames uit de videodatabank, maakt deze LoRA module AnimateDiff beter geschikt voor het omgaan met beweging. Best cool, toch?

Bij het gebruik van AnimateDiff V3 zul je merken dat het niet noodzakelijkerwijs Animatediff V2 in elk opzicht overtreft. In plaats daarvan biedt het verschillende soorten bewegingen, waardoor je meer tools hebt in je creatieve arsenaal.

Positive Prompt：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Als je van high-res video's houdt, is AnimateDiff SDXL misschien een goede keuze. Werkend op de mm_sdxl_v10_beta.ckpt motion module, is het ontworpen voor het maken van 1024x1024 resolutie animaties met 16 frames. Een kleine waarschuwing: het is nog in Beta, dus het kan verstandig zijn om even te wachten voordat je erin duikt.

Gebruik dezelfde Positive Prompt en Negative Prompt als bij AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 is de klassieker! Met mm_sd_v15_v2.ckpt, biedt deze versie MotionLoRA voor acht essentiële camerabewegingen: In-/Uitzoomen, Pan Links/Rechts, Kantelen Omhoog/Omlaag en Rollen Met de klok mee/Tegen de klok in. Animatediff V2 is perfect als je dynamische camerabewegingen wilt toevoegen om drama aan je animaties toe te voegen.

Gebruik dezelfde Positive Prompt en Negative Prompt als bij AnimateDiff V3

CheckPoint: toonyou_beta6

4. AnimateDiff Instellingen: Hoe gebruik je AnimateDiff in ComfyUI

Als je eenmaal de AnimateDiff workflow binnen ComfyUI hebt betreden, kom je een groep tegen met het label "AnimateDiff Options" zoals hieronder weergegeven. Dit gebied bevat de instellingen en functies die je waarschijnlijk zult gebruiken tijdens het werken met AnimateDiff.

4.1. AnimateDiff Modellen

Allereerst, kies je de AnimateDiff motion module die je wilt proberen in de model_name dropdown:

• v3_sd15_mm.ckpt voor AnimateDiff V3
• mm_sdxl_v10_beta.ckpt voor AnimateDiff SDXL
• mm_sd_v15_v2.ckpt voor AnimateDiff V2

4.2. CheckPoint Modellen voor AnimateDiff

AnimateDiff heeft een Stable Diffusion checkpoint model nodig.

Voor AnimateDiff V2 en V3, moet je een SD v1.5 model gebruiken. Modellen zoals realisticVisionV60B1_V51VAE, toonyou_beta6 en cardos_Animev2.0 zijn top keuzes.

Als je neigt naar AnimateDiff SDXL, richt je dan op een SDXL model, zoals sd_xl_base_1.0 of dreamshaperXL10_alpha2Xl10.

Binnen de RunComfy cloud omgeving zijn alle motion modules en checkpoint modellen vooraf geïnstalleerd voor je gemak.

4.3. Beta Schema

Het Beta Schema in AnimateDiff bepaalt het gedrag van het ruisreductieproces tijdens de animatiegeneratie.

Voor AnimateDiff V3 en V2 is de sqrt_linear instelling over het algemeen de juiste keuze, maar schroom niet om linear uit te proberen voor enkele interessante effecten.

Voor AnimateDiff XL, blijf bij linear (AnimateDiff-SDXL).

4.4. Motion Scale

Motion Scale in AnimateDiff laat je de bewegingsintensiteit regelen. Onder 1 betekent subtielere beweging; boven 1 betekent meer uitgesproken beweging.

4.5. Context Batch Size Bepaalt Animatielengte

Batch Size in AnimateDiff vertegenwoordigt de bouwstenen van je animatie. Het dient als de fundamentele factor die de lengte van je animatie beïnvloedt. Het bepaalt het aantal "scènes" of segmenten waaruit je animatie zal bestaan.

Grotere Batch Sizes leiden tot meer scènes in je animatie, waardoor een langere en meer uitgebreide verhaallijn mogelijk is. Er is geen bovengrens voor de Batch Size, dus je bent vrij om animaties te maken zo lang of kort als je wilt. De standaard Batch Size is 16.

• 16 Batch Size = Een snelle, 2-seconden video
• 32 Batch Size = Een korte, 4-seconden clip
• 64 Batch Size = Een meer uitgebreide, 8-seconden feature

4.6. Context Lengte

Uniform Context Length in AnimateDiff speelt een cruciale rol bij het garanderen van soepele overgangen tussen de scènes die zijn ingesteld door je Batch Size. Het is als een vaardige editor die precies weet hoe hij scènes aan elkaar moet naaien voor de meest natuurlijke flow.

De lengte die je instelt voor de Uniform Context zal de aard van overgangen tussen scènes dicteren. Een langere Uniform Context Length leidt tot soepelere, meer geleidelijke overgangen, waardoor de overgang van de ene naar de andere scène bijna onmerkbaar wordt. Aan de andere kant zal een kortere lengte snellere, meer merkbare overgangen creëren, wat ideaal kan zijn voor bepaalde verhaaleffecten. De standaard Uniform Context lengte is 16.

4.7. Motion LoRA voor Camera Dynamiek (Alleen AnimateDiff v2)

Motion LoRAs zijn exclusief compatibel met AnimateDiff v2. Deze handige toevoegingen brengen een dynamische laag van camerabeweging naar je animaties. Bij het gebruik van Motion LoRAs is het cruciaal om de juiste balans te vinden met het LoRA gewicht. Het instellen rond 0.75 neigt het beste resultaat te geven, met soepele camerabewegingen zonder vervelende achtergrondartefacten.

Bovendien heb je de creatieve vrijheid om meerdere Motion LoRAs te combineren. Door strategisch verschillende Motion LoRA modellen te combineren, kun je complexe camerabewegingen orkestreren, experimenteren en de perfecte mix van bewegingen vinden voor je unieke animatievisie, waardoor je animatie wordt verheven tot een cinematografisch meesterwerk.

Hier is een voorbeeld van het gebruik van Motion LoRa's "Pan Left" en "Zoom In" functies samen.

5. AnimateDiff Prompt

Oké, nu je je model en AnimateDiff instellingen hebt afgesteld, is het showtime! Dit is waar je je tekst omzet in videoanimaties.

Hier is een voorbeeld van een positieve prompt en een negatieve prompt:

Positive Prompt：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Reizen / Prompt Planning

Maar wacht, er is meer! Heb je Prompt Reizen / Prompt Planning geprobeerd? Denk eraan als het betreden van de schoenen van een filmregisseur. Jij hebt de controle, je verhaal scène voor scène vormgeven. Het is als het samenstellen van een puzzel waarbij elk stuk een moment in je verhaal is.

Hoe werkt Prompt Reizen?

Stel je voor dat je een mini-film maakt. Je stelt Prompt 1 in bij Frame 1 en Prompt 2 bij Frame 8, enzovoort. AnimateDiff zal deze prompts naadloos in elkaar over laten lopen, waardoor een soepele overgang van Frame 1 naar Frame 8 ontstaat.

Tip: Hoewel Prompt Reizen intrigerend kan zijn, is het belangrijk op te merken dat het niet altijd een gegarandeerd succes is. De effectiviteit van Prompt Reizen hangt ook af van het checkpoint model dat je selecteert. Bijvoorbeeld, het cardos_Animev2.0 model is compatibel met Prompt Reizen, maar dit geldt niet voor alle modellen. Bovendien kan het resultaat onvoorspelbaar zijn - sommige prompts kunnen niet goed mengen, wat resulteert in minder ideale overgangen. Dit maakt Prompt Reizen meer een experimentele functie dan een gegarandeerd hulpmiddel voor naadloze animatie.

We hebben de "Prompt Reizen / Prompt Planning" node aan het einde van de AnimateDiff ComfyUI workflow geplaatst. Als je nieuwsgierig bent om te experimenteren, moet je "Prompt Reizen" gebruiken in plaats van de reguliere "Prompt" optie.

7. ComfyUI Hires Fix - Je Animaties Verbeteren

Door AnimateDiff te gebruiken samen met de Hi-Res fix, kun je de resolutie van je afbeeldingen verbeteren. Dit proces transformeert licht wazige beelden in kristalheldere meesterwerken.