AnimateDiff + Batch Prompt Schedule | Da testo a video

1. Workflow AnimateDiff + Batch Prompt Schedule

Il workflow AnimateDiff e Batch Prompt Schedule consente la creazione dinamica di video a partire da prompt testuali. Permettendo modifiche programmate e dinamiche ai prompt nel tempo, Batch Prompt Schedule migliora questo processo, offrendo un controllo dettagliato sulla narrazione e sugli elementi visivi dell'animazione ed espandendo le possibilità creative per lo storytelling.

2. Panoramica di AnimateDiff

Per favore, consulta i dettagli su Come utilizzare AnimateDiff in ComfyUI

3. Panoramica di Batch Prompt Schedule

3.1. Introduzione a Batch Prompt Schedule

Batch Prompt Schedule in ComfyUI è un potente nodo progettato per gestire e pianificare in modo efficiente prompt complessi su una serie di fotogrammi o iterazioni. Consente ai creatori di regolare dinamicamente testo e parametri nel tempo, permettendo un controllo dettagliato in progetti di animazione e altri media basati sul tempo.

3.2 Come utilizzare Batch Prompt Schedule

Innanzitutto, è importante notare i tre campi di testo per i prompt nel nodo Batch Prompt Schedule: Initial Text Field, Pretext Field e Posttext Field.

Per comporre un Initial Text Field in un ComfyUI Batch Prompt Schedule, in sostanza si definisce il prompt centrale o base che verrà applicato a tutti i fotogrammi o iterazioni nella pianificazione. Ciò si ottiene utilizzando il Pretext Field o Posttext Field, che rispettivamente consentono di anteporre o aggiungere testo a ogni prompt pianificato.

Initial Text Field: Questo è il campo di testo principale in cui inserire i prompt che si desidera elaborare con Batch Prompt Schedule. Specifica qui il prompt per i fotogrammi chiave. Ad esempio:

"0": "Tristo mietitore, in piedi tra le tombe, con una falce, in un cimitero nebbioso di notte, nebbia inquietante, luna piena, pipistrelli che volano, zucche di Halloween",
"25": "Zombie maschio, bocca aperta, che mangia un cervello, in un paesaggio urbano post-apocalittico abbandonato, muri con graffiti, lampioni tremolanti", 
"50": "Lupo mannaro che ulula, con gli occhi che brillano di rosso, in una fitta foresta inquietante, luna piena luminosa, branco di lupi sullo sfondo"

Pretext Field: Testo che viene anteposto all'inizio di ogni prompt nella pianificazione, consentendo una base coerente per tutti i prompt pianificati.

Posttext Field: Testo che viene aggiunto alla fine di ogni prompt nella pianificazione, consentendo una conclusione uniforme per ogni prompt o aggiungendo elementi coerenti tra i prompt.

Inoltre, ci sono altri parametri per aiutare a controllare i prompt:

Max Frames: Determina il numero massimo di fotogrammi per cui viene applicata la pianificazione dei prompt batch. È fondamentale allineare questo numero con il numero di latenti nel batch o con il totale dei fotogrammi dell'animazione che si intende produrre.

Print Output: Un parametro booleano che, se abilitato, consente di stampare l'output per il debug o la verifica.

Start Frame: Specifica il fotogramma iniziale per la pianificazione dei prompt batch.

PW Fields: Questi campi (pw_a, pw_b, pw_c, pw_d) facilitano la regolazione dinamica dei pesi dei prompt nel tempo. Manipolando questi pesi attraverso espressioni e collegandoli ad altri valori pianificati, i creatori ottengono un controllo sfumato su come diversi aspetti del prompt influenzano l'output della pianificazione batch. Ad esempio, puoi incorporare pw_a, pw_b, pw_c e pw_d nell'Initial Text Field come segue:

"0": "Un ballerino gioioso sotto i riflettori, con un ampio sorriso (felicità:`pw_a`)",
"24": "Un ballerino contemplativo sotto la luce della luna, perso nei suoi pensieri (contemplazione:`pw_b`)",
"48": "Una figura addolorata nelle ombre, con le lacrime che luccicano al chiaro di luna (dolore:`pw_c`)"

Questo workflow è ispirato da MDMZ. Per maggiori informazioni, visita il suo canale YouTube.