AnimateDiff ComfyUI Workflow/Tutorial - Animazione Stable Diffusion

Ciao a tutti! Avete mai pensato all'idea di trasformare il testo in video? Non è una novità, ma sta diventando sempre più interessante. Oggi parliamo di uno di questi fantastici strumenti, AnimateDiff nell'ambiente ComfyUI. Che siate artisti digitali o semplicemente amanti dell'esplorazione di nuove tecnologie, AnimateDiff offre un modo entusiasmante per trasformare le vostre idee testuali in GIF animate e video.

Trattaremo:

1. Come funziona AnimateDiff?
2. ComfyUI AnimateDiff Workflow - Nessuna Installazione Necessaria, Totalmente Gratuito
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Nuovo Modulo Motion in Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. Impostazioni AnimateDiff: Come Utilizzare AnimateDiff in ComfyUI
   • Modelli AnimateDiff
   • Modelli CheckPoint per AnimateDiff
   • Beta Schedule
   • Motion Scale
   • Context Batch Size Determina la Lunghezza dell'Animazione
   • Context Length
   • Motion LoRA per la Dinamica della Fotocamera (Solo AnimateDiff v2)
5. Prompt AnimateDiff
6. AnimateDiff Prompt Travel / Prompt Scheduling
7. ComfyUI Hires Fix - Migliorare le Vostre Animazioni
8. ComfyUI AnimateDiff Workflow Pronto all'Uso: Esplorare l'Animazione Stable Diffusion

1. Come funziona AnimateDiff?

Il cuore di AnimateDiff è un modulo di modellazione del movimento. Pensatelo come il cervello dell'operazione, che impara tutto sul movimento da vari videoclip. È come avere un insegnante di danza che conosce ogni mossa del libro. Questo modulo si integra perfettamente nei modelli pre-addestrati di testo-immagine. Quindi, non siete più limitati alle immagini statiche: le vostre creazioni possono ballare, saltare e volteggiare!

2. ComfyUI AnimateDiff Workflow - Nessuna Installazione Necessaria, Totalmente Gratuito

Date un'occhiata al video qui sopra, creato utilizzando il workflow ComfyUI AnimateDiff. Ora potete immergervi direttamente in questo Workflow Animatediff senza dover affrontare il fastidio dell'installazione. Abbiamo impostato tutto per voi in un ComfyUI basato su cloud, completo del workflow AnimateDiff e di tutti i modelli essenziali e nodi personalizzati di Animatediff V3, Animatediff SDXL e Animatediff V2.

Sentitevi liberi di sperimentare e giocare con esso. Oppure potete continuare a leggere questo tutorial su come utilizzare AnimateDiff e provarlo in seguito.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Facciamo una passeggiata attraverso le diverse versioni di AnimateDiff. Ogni versione ha il suo fascino, quindi allacciate le cinture per un rapido tour!

3.1. AnimateDiff V3: Nuovo Modulo Motion in Animatediff

AnimateDiff V3 non è solo una nuova versione, ma un'evoluzione nella tecnologia dei moduli di movimento, distinguendosi per le sue caratteristiche raffinate. Il modulo di movimento v3_sd15_mm.ckpt è il cuore di questa versione, responsabile di animazioni sfumate e flessibili.

Scomponiamo la magia tecnologica dietro di esso. Il protagonista è il modulo Domain Adapter LoRA, che è essenzialmente un primer per il modulo di movimento. Addestrandosi su fotogrammi statici del dataset video, questo modulo LoRA equipaggia AnimateDiff per essere più abile nel gestire il movimento. Piuttosto interessante, vero?

Quando si utilizza AnimateDiff V3, si noterà che non supera necessariamente Animatediff V2 in ogni aspetto. Invece, offre diversi tipi di movimenti, aggiungendo più strumenti al vostro arsenale creativo.

Prompt Positivo: capolavoro, migliore qualità, ragazza con capelli arcobaleno, capelli davvero selvaggi, criniera

Prompt Negativo: (bassa qualità, nsfw, peggior qualità:1.4), (deformato, distorto, sfigurato:1.3), easynegative, mani, bad-hands-5, sfocato, brutto, testo, incorporamento: easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Se siete appassionati di video ad alta risoluzione, AnimateDiff SDXL potrebbe essere una scelta. Funzionando con il modulo di movimento mm_sdxl_v10_beta.ckpt, è progettato per creare animazioni con risoluzione 1024x1024 con 16 fotogrammi. Tenete presente, tuttavia, che è ancora in versione Beta, quindi potrebbe essere saggio aspettare un po' prima di immergersi.

Utilizzare gli stessi Prompt Positivo e Prompt Negativo di AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 è il classico! Con mm_sd_v15_v2.ckpt, questa versione offre MotionLoRA per otto movimenti essenziali della fotocamera: Zoom In/Out, Panoramica Sinistra/Destra, Inclinazione Su/Giù e Rotazione Oraria/Antioraria. Animatediff V2 è perfetto se cercate movimenti dinamici della fotocamera per aggiungere drammaticità alle vostre animazioni.

Utilizzare gli stessi Prompt Positivo e Prompt Negativo di AnimateDiff V3

CheckPoint: toonyou_beta6

4. Impostazioni AnimateDiff: Come Utilizzare AnimateDiff in ComfyUI

Una volta entrati nel workflow AnimateDiff all'interno di ComfyUI, troverete un gruppo etichettato "AnimateDiff Options" come mostrato di seguito. Quest'area contiene le impostazioni e le funzionalità che probabilmente utilizzerete mentre lavorate con AnimateDiff.

4.1. Modelli AnimateDiff

Prima di tutto, scegliete il vostro modulo di movimento AnimateDiff che volete provare nel menu a discesa model_name:

• v3_sd15_mm.ckpt per AnimateDiff V3
• mm_sdxl_v10_beta.ckpt per AnimateDiff SDXL
• mm_sd_v15_v2.ckpt per AnimateDiff V2

4.2. Modelli CheckPoint per AnimateDiff

AnimateDiff richiede un modello Stable Diffusion chickpoint.

Per AnimateDiff V2 e V3, è necessario utilizzare un modello SD v1.5. Modelli come realisticVisionV60B1_V51VAE, toonyou_beta6 e cardos_Animev2.0 sono scelte top.

Se vi orientate verso AnimateDiff SDXL, puntate a un modello SDXL, come sd_xl_base_1.0 o dreamshaperXL10_alpha2Xl10.

All'interno dell'ambiente cloud RunComfy, tutti i moduli di movimento e i modelli checkpoint sono preinstallati per vostra comodità.

4.3. Beta Schedule

Beta Schedule in AnimateDiff determina il comportamento del processo di riduzione del rumore durante la generazione dell'animazione.

Per AnimateDiff V3 e V2, l'impostazione sqrt_linear è generalmente la strada da seguire, ma non abbiate paura di provare linear per alcuni effetti interessanti.

Per AnimateDiff XL, attenetevi a linear (AnimateDiff-SDXL).

4.4. Motion Scale

Motion Scale in AnimateDiff vi permette di controllare l'intensità del movimento. Sotto 1 significa un movimento più sottile; oltre 1 significa un movimento più pronunciato.

4.5. Context Batch Size Determina la Lunghezza dell'Animazione

Batch Size in AnimateDiff rappresenta i blocchi di costruzione della vostra animazione. Serve come fattore fondamentale che influenza la lunghezza della vostra animazione. Determina il numero di "scene" o segmenti di cui sarà composta la vostra animazione.

Batch Size più grandi portano a più scene nella vostra animazione, consentendo un'esperienza narrativa più lunga ed elaborata. Non c'è un limite superiore per la Batch Size, quindi siete liberi di creare animazioni lunghe o brevi a vostro piacimento. La Batch Size predefinita è 16.

• Batch Size 16 = Un video veloce di 2 secondi
• Batch Size 32 = Un breve filmato di 4 secondi
• Batch Size 64 = Un video più esteso di 8 secondi

4.6. Context Length

Uniform Context Length in AnimateDiff svolge un ruolo fondamentale nel garantire transizioni fluide tra le scene impostate dalla vostra Batch Size. È come avere un editor esperto che sa esattamente come cucire le scene insieme per ottenere il flusso più naturale.

La lunghezza che impostate per l'Uniform Context detterà la natura delle transizioni tra le scene. Una lunghezza maggiore dell'Uniform Context porta a transizioni più fluide e graduali, rendendo il passaggio da una scena all'altra quasi impercettibile. D'altra parte, una lunghezza più breve creerà transizioni più rapide e più evidenti, che potrebbero essere ideali per determinati effetti narrativi. La lunghezza predefinita dell'Uniform Context è 16.

4.7. Motion LoRA per la Dinamica della Fotocamera (Solo AnimateDiff v2)

I Motion LoRA sono esclusivamente compatibili con AnimateDiff v2. Queste utili aggiunte portano un livello dinamico di movimento della fotocamera alle vostre animazioni. Quando si utilizzano i Motion LoRA, è fondamentale trovare il giusto equilibrio con il peso LoRA. Impostarlo intorno a 0,75 tende a colpire il punto giusto, dandovi movimenti di camera fluidi senza fastidiosi artefatti di sfondo.

Inoltre, avete la libertà creativa di concatenare più Motion LoRA. Combinando strategicamente diversi modelli Motion LoRA, potete orchestrare movimenti complessi della fotocamera, sperimentare e trovare il mix perfetto di movimenti per la vostra visione unica dell'animazione, elevando così la vostra animazione a un capolavoro cinematografico.

Ecco un esempio di utilizzo congiunto delle funzioni "Pan Left" e "Zoom In" di Motion LoRa.

5. Prompt AnimateDiff

Bene, ora che avete messo a punto il vostro modello e le impostazioni di AnimateDiff, è il momento dello spettacolo! Qui è dove trasformate il vostro testo in animazioni video.

Ecco un esempio di prompt positivo e negativo:

Prompt Positivo: (capolavoro, migliore qualità), 1ragazza, sola, elfa, nebbia, vestito estivo, foresta, in piedi, nell'acqua, cascata, che guarda lo spettatore, primo piano sfocato, luce del sole screziata, muschio, (intricato, loto, fungo)

Prompt Negativo: (bassa qualità, nsfw, peggior qualità, testo, letterboxed:1.4), (deformato, distorto, sfigurato:1.3), easynegative, mani, bad-hands-5, sfocato, brutto, embedding:easynegative

6. AnimateDiff Prompt Travel / Prompt Scheduling

Ma aspettate, c'è di più! Avete provato Prompt Travel / Prompt Scheduling? Pensate a esso come a mettervi nei panni di un regista cinematografico. Siete voi a controllare, a creare la vostra storia scena per scena. È come mettere insieme un puzzle in cui ogni pezzo è un momento della vostra storia.

Come Funziona Prompt Travel?

Immaginate di creare un mini-film. Impostate il Prompt 1 al Fotogramma 1 e il Prompt 2 al Fotogramma 8, e così via. AnimateDiff fonderà perfettamente questi prompt, creando una transizione fluida dal Fotogramma 1 al Fotogramma 8.

Suggerimento: Mentre Prompt Travel può essere intrigante, è importante notare che non è sempre un successo garantito. L'efficacia di Prompt Travel dipende anche dal modello checkpoint selezionato. Ad esempio, il modello cardos_Animev2.0 è compatibile con Prompt Travel, ma questo non vale per tutti i modelli. Inoltre, il risultato può essere imprevedibile: alcuni prompt potrebbero non fondersi bene, risultando in transizioni meno che ideali. Questo rende Prompt Travel più una funzionalità sperimentale che uno strumento garantito per un'animazione senza soluzione di continuità.

Abbiamo posto il nodo "Prompt Travel / Prompt Scheduling" alla fine del workflow AnimateDiff ComfyUI. Se siete curiosi di sperimentare, dovrete utilizzare "Prompt Travel" al posto dell'opzione "Prompt" normale.

7. ComfyUI Hires Fix - Migliorare le Vostre Animazioni

Impiegando AnimateDiff insieme a Hi-Res fix, potete migliorare la risoluzione delle vostre immagini. Questo processo trasforma immagini leggermente sfocate in capolavori cristallini. In questa sezione, introdurremo due metodi.

7.1. Latent Upscale

Upscaling latente tradizionale in ComfyUI. Applicando impostazioni come 0,6 di forza di denoising e scegliendo un upscale di 1,5x, vedrete le vostre animazioni trasformarsi con dettagli più ricchi e una maggiore chiarezza. È come indossare gli occhiali e vedere improvvisamente il mondo in alta definizione!

7.2. ControlNet Upscale

L'upscaling latente tradizionale è fantastico, ma passiamo al livello successivo con l'Upscale Latente Assistito da Control Net. Utilizza ControlNets per un upscale più preciso, assicurando che la vostra animazione mantenga la sua integrità. Con l'aggiunta di un preprocessore lineart e del modello controlnet giusto, migliorerete la vostra arte mantenendone intatta l'anima.

8. ComfyUI AnimateDiff Workflow Pronto all'Uso: Esplorare l'Animazione Stable Diffusion

Abbiamo esplorato l'entusiasmante mondo di AnimateDiff in ComfyUI. Per coloro che sono ansiosi di sperimentare il Workflow ComfyUI AnimateDiff che abbiamo evidenziato, provate assolutamente RunComfy, un ambiente cloud dotato di una potente GPU e completamente preparato, incluso tutto, dai modelli essenziali ai nodi personalizzati. Nessuna configurazione manuale necessaria! Solo un parco giochi per liberare la vostra creatività. 🌟

Autore: Redattori RunComfy

Il nostro team di redattori ha lavorato con l'IA per più di 15 anni, a partire da NLP/Vision nell'era delle RNN/CNN. Abbiamo accumulato una vasta esperienza su Chatbot/Art/Animation AI, come BERT/GAN/Transformer, ecc. Parlateci se avete bisogno di aiuto per l'arte, l'animazione e il video AI.