AnimateDiff ComfyUI Workflow/Tutorial - Stabil Diffusion Animation

Hej der! Har du nogensinde undret dig over ideen om at omdanne tekst til videoer? Dette er ikke helt nyt, men det bliver hele tiden mere spændende. I dag skal vi tale om et af disse seje værktøjer, AnimateDiff i ComfyUI-miljøet. Uanset om du er digital kunstner eller bare elsker at udforske ny teknologi, tilbyder AnimateDiff en spændende måde at transformere dine tekstideer til animerede GIF'er og videoer.

Vi vil dække:

1. Hvordan fungerer AnimateDiff?
2. ComfyUI AnimateDiff Workflow - Ingen Installation Nødvendig, Helt Gratis
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Ny Motion Module i Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. AnimateDiff Indstillinger: Sådan Bruger Du AnimateDiff i ComfyUI
   • AnimateDiff Models
   • CheckPoint Models for AnimateDiff
   • Beta Schedule
   • Motion Scale
   • Context Batch Size Bestemmer Animationslængde
   • Context Length
   • Motion LoRA for Camera Dynamics (AnimateDiff v2 Only)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Travel / Prompt Scheduling
7. ComfyUI Hires Fix - Forbedring af Dine Animationer
8. Klar-til-Brug ComfyUI AnimateDiff Workflow: Udforskning af Stabil Diffusion Animation

1. Hvordan fungerer AnimateDiff?

Kernen i AnimateDiff er en motion modeling module. Tænk på det som operationens hjerne, der lærer alt om bevægelse fra forskellige videoklip. Det er som at have en danselærer, der kender hver bevægelse i bogen. Denne module integreres problemfrit i foruddannede text-to-image modeller. Så du er ikke længere begrænset til statiske billeder – dine kreationer kan danse, springe og snurre!

2. ComfyUI AnimateDiff Workflow - Ingen Installation Nødvendig, Helt Gratis

Se videoen ovenfor, som er lavet ved hjælp af ComfyUI AnimateDiff workflow. Nu kan du dykke direkte ned i denne Animatediff Workflow uden nogen installationsbesvær. Vi har alt klar til dig i en cloud-baseret ComfyUI, komplet med AnimateDiff workflow og alle de nødvendige modeller og tilpassede noder af Animatediff V3, Animatediff SDXL og Animatediff V2.

Føl dig fri til at eksperimentere og lege med det. Eller du kan fortsætte med at læse denne tutorial om, hvordan du bruger AnimateDiff og derefter prøve det senere.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Lad os tage en tur gennem de forskellige versioner af AnimateDiff. Hver version har sin egen charme, så spænd sikkerhedsbæltet for en hurtig tur!

3.1. AnimateDiff V3: Ny Motion Module i Animatediff

AnimateDiff V3 er ikke bare en ny version, det er en evolution i motion module teknologi, der skiller sig ud med sine raffinerede funktioner. Motion module v3_sd15_mm.ckpt er hjertet i denne version, ansvarlig for nuancerede og fleksible animationer.

lad os bryde teknologien bag det ned. Stjernespilleren her er Domain Adapter LoRA module, som i bund og grund er en primer for motion module. Ved at træne på statiske rammer fra videodatabasen, udstyrer denne LoRA module AnimateDiff til at være mere dygtig til at håndtere bevægelse. Ret sejt, ikke?

Når du bruger AnimateDiff V3, vil du bemærke, at det ikke nødvendigvis overgår Animatediff V2 i alle aspekter. I stedet tilbyder det forskellige typer bevægelser, hvilket tilføjer flere værktøjer til din kreative arsenal.

Positive Prompt：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Hvis du er til højopløsningsvideoer, kan AnimateDiff SDXL være et valg. Kører på mm_sdxl_v10_beta.ckpt motion module, det er designet til at skabe 1024x1024 opløsning animationer med 16 frames. Bare en heads-up, det er stadig i Beta, så det kan være klogt at vente lidt, før du dykker ind.

Brug samme Positive Prompt og Negative Prompt som AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 er klassikeren! Med mm_sd_v15_v2.ckpt, tilbyder denne version MotionLoRA for otte essentielle kamerabevægelser: Zoom In/Out, Pan Left/Right, Tilt Up/Down, og Rolling Clockwise/Anticlockwise. Animatediff V2 er perfekt, hvis du er efter dynamiske kamerabevægelser for at tilføje drama til dine animationer.

Brug samme Positive Prompt og Negative Prompt som AnimateDiff V3

CheckPoint: toonyou_beta6

4. AnimateDiff Indstillinger: Sådan Bruger Du AnimateDiff i ComfyUI

Når du går ind i AnimateDiff workflow inden for ComfyUI, vil du støde på en gruppe mærket "AnimateDiff Options" som vist nedenfor. Dette område indeholder de indstillinger og funktioner, du sandsynligvis vil bruge, mens du arbejder med AnimateDiff.

4.1. AnimateDiff Models

Først og fremmest, vælg din AnimateDiff motion module, du vil prøve i model_name dropdown:

• v3_sd15_mm.ckpt for AnimateDiff V3
• mm_sdxl_v10_beta.ckpt for AnimateDiff SDXL
• mm_sd_v15_v2.ckpt for AnimateDiff V2

4.2. CheckPoint Models for AnimateDiff

AnimateDiff har brug for en Stabil Diffusion chickpoint model.

For AnimateDiff V2 og V3, skal du bruge en SD v1.5 model. Modeller som realisticVisionV60B1_V51VAE, toonyou_beta6 og cardos_Animev2.0 er topvalg.

Hvis du hælder mod AnimateDiff SDXL, sigt efter en SDXL model, såsom sd_xl_base_1.0 eller dreamshaperXL10_alpha2Xl10.

Inden for RunComfy cloud-miljøet kommer alle motion modules og checkpoint modeller forudinstalleret for din bekvemmelighed.

4.3. Beta Schedule

Beta Schedule i AnimateDiff bestemmer adfærden af støjreduktionen under animationsgenereringen.

For AnimateDiff V3 og V2 er sqrt_linear indstillingen generelt vejen at gå, men tøv ikke med at prøve linear for nogle interessante effekter.

For AnimateDiff XL, hold dig til linear (AnimateDiff-SDXL).

4.4. Motion Scale

Motion Scale i AnimateDiff lader dig kontrollere bevægelsesintensiteten. Under 1 betyder mere subtil bevægelse; over 1 betyder mere udtalt bevægelse.

4.5. Context Batch Size Bestemmer Animationslængde

Batch Size i AnimateDiff repræsenterer byggestenene i din animation. Det fungerer som den grundlæggende faktor, der påvirker længden af din animation. Det bestemmer antallet af "scener" eller segmenter, din animation vil bestå af.

Større Batch Sizes fører til flere scener i din animation, hvilket giver mulighed for en længere og mere detaljeret fortælling. Der er ingen øvre grænse for Batch Size, så du er fri til at skabe animationer så lange eller korte, som du ønsker. Standard Batch Size er 16.

• 16 Batch Size = En hurtig, 2-sekunders video
• 32 Batch Size = Et kort, 4-sekunders klip
• 64 Batch Size = En længere, 8-sekunders funktion

4.6. Context Length

Uniform Context Length i AnimateDiff spiller en afgørende rolle i at sikre glidende overgange mellem de scener, der er sat af din Batch Size. Det er som at have en dygtig redaktør, der ved præcis, hvordan man syr scener sammen for den mest naturlige flow.

Den længde, du sætter for Uniform Context, vil diktere karakteren af overgange mellem scener. En længere Uniform Context Length fører til glattere, mere gradvise overgange, hvilket gør skiftet fra en scene til en anden næsten umærkeligt. På den anden side vil en kortere længde skabe hurtigere, mere mærkbare overgange, hvilket kan være ideelt til visse fortællingseffekter. Standard Uniform Context længde er 16.

4.7. Motion LoRA for Camera Dynamics (AnimateDiff v2 Only)

Motion LoRAs er udelukkende kompatible med AnimateDiff v2. Disse smarte tilføjelser bringer et dynamisk lag af kamerabevægelse til dine animationer. Når du bruger Motion LoRAs, er det vigtigt at finde den rette balance med LoRA vægten. At sætte den omkring 0.75 har tendens til at ramme det søde punkt, hvilket giver dig glatte kamerabevægelser uden irriterende baggrundsartefakter.

Hvad mere er, du har den kreative frihed til at kæde flere Motion LoRAs sammen. Ved strategisk at kombinere forskellige Motion LoRA modeller, kan du orkestrere komplekse kamerabevægelser, eksperimentere og finde den perfekte blanding af bevægelser til din unikke animationsvision, og derved hæve din animation til et filmisk mesterværk.

Her er et eksempel på at bruge Motion LoRa's "Pan Left" og "Zoom In" funktioner sammen.

5. AnimateDiff Prompt

Okay, nu hvor du har fået din model og AnimateDiff indstillingerne tunet op, er det showtime! Dette er, hvor du omdanner din tekst til video animationer.

Her er et eksempel på en positiv prompt og en negativ prompt:

Positive Prompt：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Travel / Prompt Scheduling

Men vent, der er mere! Har du prøvet Prompt Travel / Prompt Scheduling? Tænk på det som at træde ind i skoene af en filminstruktør. Du er i kontrol, skaber din historie scene for scene. Det er som at samle et puslespil, hvor hver brik er et øjeblik i din historie.

Hvordan Fungerer Prompt Travel?

Forestil dig, at du laver en mini-film. Du sætter Prompt 1 ved Frame 1 og Prompt 2 ved Frame 8, og så videre. AnimateDiff vil sømløst blande disse prompts, hvilket skaber en glidende overgang fra Frame 1 til Frame 8.

Tip: Mens Prompt Travel kan være interessant, er det vigtigt at bemærke, at det ikke altid er en sikker succes. Effektiviteten af Prompt Travel afhænger også af den checkpoint model, du vælger. For eksempel er cardos_Animev2.0 modellen kompatibel med Prompt Travel, men det er ikke tilfældet for alle modeller. Derudover kan resultatet være uforudsigeligt - nogle prompts kan ikke blande sig godt, hvilket resulterer i mindre end ideelle overgange. Dette gør Prompt Travel mere til en eksperimentel funktion end et garanteret værktøj til glidende animation. Vi har placeret "Prompt Travel / Prompt Scheduling" noden i slutningen af AnimateDiff ComfyUI workflowet. Hvis du er nysgerrig efter at eksperimentere, skal du bruge "Prompt Travel" i stedet for den almindelige "Prompt" mulighed.

7. ComfyUI Hires Fix - Forbedring af Dine Animationer

Ved at anvende AnimateDiff sammen med Hi-Res fix, kan du forbedre opløsningen af dine billeder. Denne proces omdanner let slørede billeder til krystalklare mesterværker. I denne sektion vil vi introducere to metoder.

7.1. Latent Upscale

Traditionel latent upscaling i ComfyUI. Ved at anvende indstillinger som 0.6 denoising strength og vælge en 1.5x upscale, vil du se dine animationer transformere med rigere detaljer og skarpere klarhed. Det er som at tage briller på og pludselig se verden i høj opløsning!

7.2. ControlNet Upscale

Traditionel latent upscaling er cool, men lad os tage det til næste niveau med Control Net Assisted Latent Upscale. Det bruger ControlNets til en mere præcis upscale, hvilket sikrer, at din animation bevarer sin integritet. Med tilføjelsen af en lineart preprocessor og den rigtige controlnet model, vil du forbedre din kunst, mens du bevarer dens sjæl intakt.

8. Klar-til-Brug ComfyUI AnimateDiff Workflow: Udforskning af Stabil Diffusion Animation

Vi har dykket ned i den spændende verden af AnimateDiff i ComfyUI. For dem, der er ivrige efter at eksperimentere med det ComfyUI AnimateDiff Workflow, vi har fremhævet, så prøv bestemt RunComfy, et cloud-miljø udstyret med en kraftfuld GPU og fuldt forberedt, inklusive alt fra nødvendige modeller til tilpassede noder. Ingen manuel opsætning nødvendig! Bare en legeplads for at frigøre din kreativitet. 🌟

Forfatter: RunComfy Editors

Vores team af redaktører har arbejdet med AI i mere end 15 år, startende med NLP/Vision i RNN/CNN-æraen. Vi har samlet en enorm mængde erfaringer med AI Chatbot/Art/Animation, såsom BERT/GAN/Transformer, osv. Tal med os, hvis du har brug for hjælp til AI kunst, animation og video.