AnimateDiff ComfyUI Arbetsflöde/Tutorial - Stabil Diffusion Animation

Hej där! Har du någonsin förundrats över idén att omvandla text till videor? Detta är inte helt nytt, men det blir allt hetare. Idag, låt oss prata om ett av dessa coola verktyg, AnimateDiff i ComfyUI-miljön. Oavsett om du är en digital konstnär eller bara älskar att utforska ny teknik, erbjuder AnimateDiff ett spännande sätt att omvandla dina textidéer till animerade GIF:ar och videor.

Vi kommer att täcka:

1. Hur fungerar AnimateDiff?
2. ComfyUI AnimateDiff Arbetsflöde - Ingen Installation Behövs, Helt Gratis
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Ny Rörelsemodul i Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. AnimateDiff Inställningar: Hur man Använder AnimateDiff i ComfyUI
   • AnimateDiff Modeller
   • CheckPoint Modeller för AnimateDiff
   • Beta Schema
   • Rörelseskala
   • Kontext Batchstorlek Bestämmer Animationslängd
   • Kontext Längd
   • Motion LoRA för Kameradynamik (endast AnimateDiff v2)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Travel / Prompt Schemaläggning
7. ComfyUI Hires Fix - Förbättra Dina Animationer
8. Färdigt ComfyUI AnimateDiff Arbetsflöde: Utforska Stabil Diffusion Animation

1. Hur fungerar AnimateDiff?

Kärnan i AnimateDiff är en rörelsemoduleringsmodul. Tänk på det som hjärnan i operationen, som lär sig allt om rörelse från olika videoklipp. Det är som att ha en danslärare som känner till varje rörelse i boken. Denna modul integreras sömlöst i förtränade text-till-bild-modeller. Så du är inte bara begränsad till statiska bilder längre – dina skapelser kan dansa, hoppa och snurra!

2. ComfyUI AnimateDiff Arbetsflöde - Ingen Installation Behövs, Helt Gratis

Kolla in videon ovan som är skapad med ComfyUI AnimateDiff arbetsflöde. Nu kan du dyka direkt in i detta Animatediff Arbetsflöde utan krångel med installation. Vi har allt redo för dig i en molnbaserad ComfyUI, komplett med AnimateDiff arbetsflöde och alla nödvändiga modeller och anpassade noder från Animatediff V3, Animatediff SDXL och Animatediff V2.

Känn dig fri att experimentera och leka med det. Eller så kan du fortsätta läsa denna handledning om hur du använder AnimateDiff och sedan prova senare.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Låt oss ta en promenad genom de olika versionerna av AnimateDiff. Varje version har sin egen charm, så spänn fast dig för en snabb rundtur!

3.1. AnimateDiff V3: Ny Rörelsemodul i Animatediff

AnimateDiff V3 är inte bara en ny version, det är en evolution i rörelsemodulteknologi, som utmärker sig med sina förfinade funktioner. Rörelsemodulen v3_sd15_mm.ckpt är hjärtat i denna version, ansvarig för nyanserade och flexibla animationer.

låt oss bryta ner den tekniska magin bakom det. Stjärnspelaren här är Domain Adapter LoRA-modulen, som i princip är en primer för rörelsemodulen. Genom att träna på statiska ramar från videodatamängden, utrustar denna LoRA-modul AnimateDiff för att vara mer skicklig på att hantera rörelse. Ganska coolt, eller hur?

När du använder AnimateDiff V3 kommer du att märka att det inte nödvändigtvis överträffar Animatediff V2 i varje aspekt. Istället erbjuder det olika typer av rörelser, vilket lägger till fler verktyg i din kreativa arsenal.

Positiv Prompt：mästerverk, bästa kvalitet, flicka med regnbågshår, riktigt vilt hår, man

Negativ Prompt: (låg kvalitet, nsfw, sämsta kvalitet:1.4), (deformerad, förvrängd, vanställd:1.3), easynegative, händer, bad-hands-5, suddig, ful, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Om du är intresserad av högupplösta videor kan AnimateDiff SDXL vara ett val. Det körs på mm_sdxl_v10_beta.ckpt rörelsemodul, designad för att skapa 1024x1024 upplösningsanimationer med 16 ramar. En liten heads-up dock, det är fortfarande i Beta, så det kan vara klokt att vänta lite innan du dyker in.

Använd samma Positiv Prompt och Negativ Prompt som med AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 är klassikern! Med mm_sd_v15_v2.ckpt, erbjuder denna version MotionLoRA för åtta väsentliga kamerarörelser: Zooma In/Ut, Panorera Vänster/Höger, Tilt Up/Ner och Rulla medurs/moturs. Animatediff V2 är perfekt om du är ute efter dynamiska kamerarörelser för att lägga till dramatik i dina animationer.

Använd samma Positiv Prompt och Negativ Prompt som med AnimateDiff V3

CheckPoint: toonyou_beta6

4. AnimateDiff Inställningar: Hur man Använder AnimateDiff i ComfyUI

När du går in i AnimateDiff arbetsflödet inom ComfyUI, kommer du att stöta på en grupp märkt "AnimateDiff Options" som visas nedan. Detta område innehåller inställningarna och funktionerna som du sannolikt kommer att använda när du arbetar med AnimateDiff.

4.1. AnimateDiff Modeller

Först och främst, välj den AnimateDiff rörelsemodul du vill prova i model_name-rullgardinsmenyn:

• v3_sd15_mm.ckpt för AnimateDiff V3
• mm_sdxl_v10_beta.ckpt för AnimateDiff SDXL
• mm_sd_v15_v2.ckpt för AnimateDiff V2

4.2. CheckPoint Modeller för AnimateDiff

AnimateDiff behöver en Stabil Diffusion checkpoint-modell.

För AnimateDiff V2 och V3, måste du använda en SD v1.5-modell. Modeller som realisticVisionV60B1_V51VAE , toonyou_beta6 och cardos_Animev2.0 är toppval.

Om du lutar åt AnimateDiff SDXL, sikta på en SDXL-modell, som sd_xl_base_1.0 eller dreamshaperXL10_alpha2Xl10.

Inom RunComfy molnmiljö, kommer alla rörelsemoduler och checkpoint-modeller förinstallerade för din bekvämlighet.

4.3. Beta Schema

Beta Schema i AnimateDiff bestämmer beteendet för brusreduceringsprocessen under animationsgenereringen.

För AnimateDiff V3 och V2, är sqrt_linear inställningen generellt sätt att gå, men var inte blyg för att prova linear för några intressanta effekter.

För AnimateDiff XL, håll dig till linear (AnimateDiff-SDXL).

4.4. Rörelseskala

Rörelseskala i AnimateDiff låter dig kontrollera rörelseintensiteten. Under 1 innebär subtilare rörelse; över 1 innebär mer uttalad rörelse.

4.5. Kontext Batchstorlek Bestämmer Animationslängd

Batchstorlek i AnimateDiff representerar byggstenarna i din animation. Det fungerar som den grundläggande faktorn som påverkar längden på din animation. Det bestämmer antalet "scener" eller segment din animation kommer att bestå av.

Större batchstorlekar leder till fler scener i din animation, vilket möjliggör en längre och mer detaljerad berättelse. Det finns ingen övre gräns för batchstorleken, så du är fri att skapa animationer så långa eller korta som du vill. Standard batchstorlek är 16.

• 16 Batchstorlek = En snabb, 2-sekunders video
• 32 Batchstorlek = Ett kort, 4-sekunders klipp
• 64 Batchstorlek = En längre, 8-sekunders funktion

4.6. Kontext Längd

Uniform Kontext Längd i AnimateDiff spelar en avgörande roll för att säkerställa smidiga övergångar mellan de scener som din batchstorlek sätter. Det är som att ha en skicklig redigerare som vet exakt hur man syr ihop scener för den mest naturliga flödet.

Längden du ställer in för den Uniform Kontext kommer att diktera övergångarnas natur mellan scener. En längre Uniform Kontext Längd leder till smidigare, mer gradvisa övergångar, vilket gör övergången från en scen till en annan nästan omärklig. Å andra sidan kommer en kortare längd att skapa snabbare, mer märkbara övergångar, vilket kan vara idealiskt för vissa berättelseeffekter. Standard Uniform Kontext längd är 16.

4.7. Motion LoRA för Kameradynamik (endast AnimateDiff v2)

Motion LoRAs är exklusivt kompatibla med AnimateDiff v2. Dessa fiffiga tillägg ger en dynamisk lager av kamerarörelse till dina animationer. När du använder Motion LoRAs är det viktigt att hitta rätt balans med LoRA-vikten. Att sätta den runt 0.75 tenderar att träffa den perfekta punkten, vilket ger dig smidiga kamerarörelser utan några irriterande bakgrundsartefakter.

Vad mer, du har den kreativa friheten att kedja flera Motion LoRAs. Genom att strategiskt kombinera olika Motion LoRA-modeller kan du orkestrera komplexa kamerarörelser, experimentera och hitta den perfekta blandningen av rörelser för din unika animationsvision, vilket därmed höjer din animation till ett filmiskt mästerverk.

Här är ett exempel på att använda Motion LoRAs "Pan Left" och "Zoom In" funktioner tillsammans.

5. AnimateDiff Prompt

Okej, nu när du har din modell och AnimateDiff-inställningar inställda, är det showtime! Det här är när du omvandlar din text till videoanimationer.

Här är ett exempel på en positiv prompt och en negativ prompt:

Positiv Prompt：(mästerverk, bästa kvalitet), 1flicka, solo, alv, dimma, sommarklänning, skog, stående, i vatten, vattenfall, tittar på betraktaren, suddig förgrund, fläckigt solljus, mossa, (intrikat, lotus, svamp)

Negativ Prompt: (låg kvalitet, nsfw, sämsta kvalitet, text, letterboxed:1.4), (deformerad, förvrängd, vanställd:1.3), easynegative, händer, bad-hands-5, suddig, ful, embedding:easynegative

6. AnimateDiff Prompt Travel / Prompt Schemaläggning

Men vänta, det finns mer! Har du provat Prompt Travel / Prompt Schemaläggning? Tänk på det som att kliva in i en filmregissörs skor. Du har kontrollen, skapar din historia scen för scen. Det är som att lägga ihop ett pussel där varje bit är ett ögonblick i din berättelse.

Hur Fungerar Prompt Travel?

Föreställ dig att du skapar en mini-film. Du ställer in Prompt 1 vid Frame 1 och Prompt 2 vid Frame 8, och så vidare. AnimateDiff kommer att sömlöst blanda dessa prompts, skapa en smidig övergång från Frame 1 till Frame 8

Tips: Medan Prompt Travel kan vara fascinerande, är det viktigt att notera att det inte alltid är en säker framgång. Effektiviteten av Prompt Travel beror också på vilken checkpoint-modell du väljer. Till exempel, cardos_Animev2.0 modellen är kompatibel med Prompt Travel, men detta gäller inte för alla modeller. Dessutom kan resultatet vara oförutsägbart - vissa prompts kanske inte blandas väl, vilket resulterar i mindre idealiska övergångar. Detta gör Prompt Travel mer av en experimentell funktion snarare än ett garanterat verktyg för sömlös animation.

Vi har placerat "Prompt Travel / Prompt Schemaläggning" noden i slutet av AnimateDiff ComfyUI arbetsflödet. Om du är nyfiken på att experimentera, måste du använda "Prompt Travel" istället för det vanliga "Prompt" alternativet.

7. ComfyUI Hires Fix - Förbättra Dina Animationer

Genom att använda AnimateDiff tillsammans med Hi-Res fix, kan du förbättra upplösningen på dina bilder. Denna process omvandlar något suddiga bilder till kristallklara mästerverk. I denna sektion kommer vi att introducera två metoder.

7.1. Latent Upscale

Traditionell latent uppskalning i ComfyUI. Genom att använda inställningar som 0.6 denoising styrka och välja en 1.5x uppskalning, kommer du att se dina animationer förvandlas med rikare detaljer och skarpare klarhet. Det är som att sätta på glasögon och plötsligt se världen i hög definition!

7.2. ControlNet Upscale

Traditionell latent uppskalning är cool, men låt oss ta det till nästa nivå med Control Net Assisted Latent Upscale. Det använder ControlNets för en mer exakt uppskalning, vilket säkerställer att din animation behåller sin integritet. Med tillägget av en lineart förprocessor och rätt controlnet-modell, kommer du att förbättra din konst samtidigt som du behåller dess själ intakt.

8. Färdigt ComfyUI AnimateDiff Arbetsflöde: Utforska Stabil Diffusion Animation

Vi har fördjupat oss i den spännande världen av AnimateDiff i ComfyUI. För de som är ivriga att experimentera med det ComfyUI AnimateDiff Arbetsflöde vi har lyft fram, ge definitivt RunComfy ett försök, en molnmiljö utrustad med en kraftfull GPU och fullt förberedd, inklusive allt från nödvändiga modeller till anpassade noder. Ingen manuell installation behövs! Bara en lekplats för att släppa loss din kreativitet. 🌟

Författare: RunComfy Editors

Vårt team av redaktörer har arbetat med AI i mer än 15 år, med början med NLP/Vision i RNN/CNN-eran. Vi har samlat på oss en enorm mängd erfarenheter av AI Chatbot/Art/Animation, såsom BERT/GAN/Transformer, etc. Prata med oss om du behöver hjälp med AI-konst, animation och video.