AnimateDiff ComfyUI Workflow/Tutorial - Stabil Diffusjon Animasjon

Hei der! Har du noen gang beundret ideen om å gjøre tekst om til videoer? Dette er ikke helt nytt, men det blir stadig mer spennende. I dag skal vi snakke om et av disse kule verktøyene, AnimateDiff i ComfyUI-miljøet. Enten du er digital kunstner eller bare elsker å utforske ny teknologi, tilbyr AnimateDiff en spennende måte å forvandle tekstideene dine til animerte GIF-er og videoer.

Vi vil dekke:

1. Hvordan fungerer AnimateDiff?
2. ComfyUI AnimateDiff Workflow - Ingen installasjon nødvendig, helt gratis
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Ny bevegelsesmodul i Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. AnimateDiff Innstillinger: Hvordan bruke AnimateDiff i ComfyUI
   • AnimateDiff Modeller
   • CheckPoint Modeller for AnimateDiff
   • Beta Tidsplan
   • Bevegelsesskala
   • Kontekst Batch Størrelse bestemmer animasjonslengde
   • Kontekstlengde
   • Motion LoRA for Kameradynamikk (kun AnimateDiff v2)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Travel / Prompt Tidsplan
7. ComfyUI Hires Fix - Forbedre animasjonene dine
8. Klar-til-bruk ComfyUI AnimateDiff Workflow: Utforske stabil diffusjon animasjon

1. Hvordan fungerer AnimateDiff?

Kjernen i AnimateDiff er en bevegelsesmoduleringsmodul. Tenk på det som hjernen i operasjonen, som lærer alt om bevegelse fra forskjellige videoklipp. Det er som å ha en danselærer som kjenner hver bevegelse i boka. Denne modulen integreres sømløst i forhåndstrente tekst-til-bilde-modeller. Så du er ikke bare begrenset til statiske bilder lenger – kreasjonene dine kan danse, hoppe og snurre!

2. ComfyUI AnimateDiff Workflow - Ingen installasjon nødvendig, helt gratis

Se videoen ovenfor som er laget ved hjelp av ComfyUI AnimateDiff workflow. Nå kan du hoppe rett inn i denne Animatediff Workflow uten noe installasjonsbesvær. Vi har alt klart for deg i en skybasert ComfyUI, komplett med AnimateDiff workflow og alle essensielle modeller og tilpassede noder av Animatediff V3, Animatediff SDXL og Animatediff V2.

Føl deg fri til å eksperimentere og leke med det. Eller du kan fortsette å lese denne veiledningen om hvordan du bruker AnimateDiff og deretter prøve det senere.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

La oss ta en tur gjennom de forskjellige versjonene av AnimateDiff. Hver versjon har sin egen sjarm, så spenn opp for en rask tur!

3.1. AnimateDiff V3: Ny bevegelsesmodul i Animatediff

AnimateDiff V3 er ikke bare en ny versjon, det er en evolusjon i bevegelsesmodulteknologi, som skiller seg ut med sine raffinerte funksjoner. Bevegelsesmodulen v3_sd15_mm.ckpt er hjertet i denne versjonen, ansvarlig for nyanserte og fleksible animasjoner.

la oss bryte ned den tekniske magien bak det. Stjernespilleren her er Domain Adapter LoRA-modulen, som i hovedsak er en primer for bevegelsesmodulen. Ved å trene på statiske rammer fra videodatasettet, utstyrer denne LoRA-modulen AnimateDiff til å være mer dyktig til å håndtere bevegelse. Ganske kult, ikke sant?

Når du bruker AnimateDiff V3, vil du legge merke til at den ikke nødvendigvis overgår Animatediff V2 på alle måter. I stedet tilbyr den forskjellige typer bevegelser, og legger til flere verktøy i det kreative arsenalet ditt.

Positive Prompt：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Hvis du er interessert i høyoppløselige videoer, kan AnimateDiff SDXL være et valg. Kjørende på mm_sdxl_v10_beta.ckpt bevegelsesmodul, er den designet for å lage 1024x1024 oppløsningsanimasjoner med 16 rammer. Bare en advarsel, det er fortsatt i Beta, så det kan være lurt å vente litt før du dykker inn.

Bruk samme Positive Prompt og Negative Prompt som AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 er klassikeren! Med mm_sd_v15_v2.ckpt, tilbyr denne versjonen MotionLoRA for åtte essensielle kamerabevegelser: Zoom inn/ut, Pan venstre/høyre, Tilt opp/ned, og Rull med/klokkevis. Animatediff V2 er perfekt hvis du er ute etter dynamiske kamerabevegelser for å legge drama til animasjonene dine.

Bruk samme Positive Prompt og Negative Prompt som AnimateDiff V3

CheckPoint: toonyou_beta6

4. AnimateDiff Innstillinger: Hvordan bruke AnimateDiff i ComfyUI

Når du går inn i AnimateDiff workflow i ComfyUI, vil du komme over en gruppe merket "AnimateDiff Options" som vist nedenfor. Dette området inneholder innstillingene og funksjonene du sannsynligvis vil bruke mens du arbeider med AnimateDiff.

4.1. AnimateDiff Modeller

Først og fremst, velg AnimateDiff bevegelsesmodulen du vil prøve i model_name-rullegardinmenyen:

• v3_sd15_mm.ckpt for AnimateDiff V3
• mm_sdxl_v10_beta.ckpt for AnimateDiff SDXL
• mm_sd_v15_v2.ckpt for AnimateDiff V2

4.2. CheckPoint Modeller for AnimateDiff

AnimateDiff trenger en Stabil Diffusjon chickpoint modell.

For AnimateDiff V2 og V3, må du bruke en SD v1.5 modell. Modeller som realisticVisionV60B1_V51VAE , toonyou_beta6 og cardos_Animev2.0 er topp valg.

Hvis du heller mot AnimateDiff SDXL, sikter du mot en SDXL-modell, som sd_xl_base_1.0 eller dreamshaperXL10_alpha2Xl10.

Innenfor RunComfy sky-miljøet kommer alle bevegelsesmoduler og checkpoint modeller forhåndsinstallert for din bekvemmelighet.

4.3. Beta Tidsplan

Beta Tidsplan i AnimateDiff bestemmer oppførselen til støyreduksjonsprosessen under animasjonsgenereringen.

For AnimateDiff V3 og V2, er sqrt_linear innstillingen vanligvis veien å gå, men ikke vær redd for å prøve linear for noen interessante effekter.

For AnimateDiff XL, hold deg til linear (AnimateDiff-SDXL).

4.4. Bevegelsesskala

Bevegelsesskala i AnimateDiff lar deg kontrollere bevegelsesintensiteten. Under 1 betyr mer subtil bevegelse; over 1 betyr mer uttalt bevegelse.

4.5. Kontekst Batch Størrelse bestemmer animasjonslengde

Batch Størrelse i AnimateDiff representerer byggeblokkene til animasjonen din. Det fungerer som den grunnleggende faktoren som påvirker lengden på animasjonen din. Det bestemmer antall "scener" eller segmenter animasjonen din vil bestå av.

Større Batch Størrelser fører til flere scener i animasjonen din, noe som gir en lengre og mer detaljert fortellingsopplevelse. Det er ingen øvre grense for Batch Størrelse, så du er fri til å lage animasjoner så lange eller korte som du ønsker. Standard Batch Størrelse er 16.

• 16 Batch Størrelse = En rask, 2-sekunders video
• 32 Batch Størrelse = En kort, 4-sekunders klipp
• 64 Batch Størrelse = En mer utvidet, 8-sekunders funksjon

4.6. Kontekstlengde

Uniform Kontekst Lengde i AnimateDiff spiller en avgjørende rolle i å sikre jevne overganger mellom scenene satt av Batch Størrelse. Det er som å ha en dyktig redaktør som vet nøyaktig hvordan man skal sy sammen scener for den mest naturlige flyten.

Lengden du setter for Uniform Kontekst vil diktere naturen til overgangene mellom scener. En lengre Uniform Kontekst Lengde fører til jevnere, mer gradvise overganger, noe som gjør overgangen fra en scene til en annen nesten umerkelig. På den annen side vil en kortere lengde skape raskere, mer merkbare overganger, noe som kan være ideelt for visse fortellingseffekter. Standard Uniform Kontekst lengde er 16.

4.7. Motion LoRA for Kameradynamikk (kun AnimateDiff v2)

Motion LoRAs er eksklusivt kompatible med AnimateDiff v2. Disse smarte tilleggene bringer et dynamisk lag av kamerabevegelse til animasjonene dine. Når du bruker Motion LoRAs, er det viktig å finne den rette balansen med LoRA vekten. Å sette den rundt 0.75 pleier å treffe det søte punktet, og gir deg jevne kamerabevegelser uten irriterende bakgrunnsartefakter.

Dessuten har du den kreative friheten til å kjede flere Motion LoRAs. Ved strategisk å kombinere forskjellige Motion LoRA-modeller, kan du orkestrere komplekse kamerabevegelser, eksperimentere og finne den perfekte blandingen av bevegelser for din unike animasjonsvisjon, og dermed løfte animasjonen din til et filmatisk mesterverk.

Her er et eksempel på å bruke Motion LoRa's "Pan Left" og "Zoom In" funksjoner sammen.

5. AnimateDiff Prompt

Greit, nå som du har fått modellen din og AnimateDiff-innstillingene justert, er det showtime! Dette er hvor du gjør tekst om til videoanimasjoner.

Her er et eksempel på en positiv prompt og en negativ prompt:

Positive Prompt：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Travel / Prompt Tidsplan

Men vent, det er mer! Har du prøvd Prompt Travel / Prompt Tidsplan? Tenk på det som å gå inn i skoene til en filmregissør. Du er i kontroll, og skaper historien din scene for scene. Det er som å sette sammen et puslespill hvor hver bit er et øyeblikk i historien din.

Hvordan fungerer Prompt Travel?

Tenk deg at du lager en mini-film. Du setter Prompt 1 ved Frame 1 og Prompt 2 ved Frame 8, og så videre. AnimateDiff vil sømløst blande disse prompts, og skape en jevn overgang fra Frame 1 til Frame 8.

Tips: Selv om Prompt Travel kan være interessant, er det viktig å merke seg at det ikke alltid er en sikker suksess. Effektiviteten av Prompt Travel avhenger også av checkpoint-modellen du velger. For eksempel er "cardos_Animev2.0" modellen kompatibel med Prompt Travel, men dette er ikke tilfelle for alle modeller. I tillegg kan utfallet være uforutsigbart - noen prompts kan ikke blande seg godt, noe som resulterer i mindre enn ideelle overganger. Dette gjør Prompt Travel mer til en eksperimentell funksjon enn et garantert verktøy for sømløs animasjon.

Vi har plassert "Prompt Travel / Prompt Scheduling" noden på slutten av AnimateDiff ComfyUI workflow. Hvis du er nysgjerrig på å eksperimentere, må du bruke "Prompt Travel" i stedet for det vanlige "Prompt" alternativet.

7. ComfyUI Hires Fix - Forbedre Animasjonene Dine

Ved å bruke AnimateDiff sammen med Hi-Res fix, kan du forbedre oppløsningen på bildene dine. Denne prosessen forvandler litt uklare bilder til krystallklare mesterverk. I denne delen vil vi introdusere to metoder.

7.1. Latent Upscale

Tradisjonell latent oppskalering i ComfyUI. Ved å bruke innstillinger som 0.6 denoising strength og velge en 1.5x oppskalering, vil du se animasjonene dine forvandle seg med rikere detaljer og skarpere klarhet. Det er som å ta på briller og plutselig se verden i høy definisjon!

7.2. ControlNet Upscale

Tradisjonell latent oppskalering er kult, men la oss ta det et steg videre med Control Net Assisted Latent Upscale. Det bruker ControlNets for en mer presis oppskalering, og sikrer at animasjonen din opprettholder sin integritet. Med tillegg av en lineart preprocessor og riktig controlnet modell, vil du forbedre kunsten din samtidig som du bevarer dens sjel.

8. Klar-til-bruk ComfyUI AnimateDiff Workflow: Utforske Stabil Diffusjon Animasjon

Vi har fordypet oss i den spennende verdenen av AnimateDiff i ComfyUI. For de som er ivrige etter å eksperimentere med ComfyUI AnimateDiff Workflow vi har fremhevet, gi definitivt RunComfy en sjanse, et sky-miljø utstyrt med en kraftig GPU og fullt forberedt, inkludert alt fra essensielle modeller til tilpassede noder. Ingen manuell oppsett nødvendig! Bare en lekeplass for å slippe løs kreativiteten din. 🌟

Forfatter: RunComfy Redaktører

Vårt team av redaktører har jobbet med AI i mer enn 15 år, med start innen NLP/Vision i RNN/CNN-æraen. Vi har samlet en enorm mengde erfaringer innen AI Chatbot/Kunst/Animasjon, som BERT/GAN/Transformer, etc. Snakk med oss hvis du trenger hjelp med AI kunst, animasjon og video.