AnimateDiff + Dynamic Prompts | Text till Video

1. ComfyUI AnimateDiff och Dynamic Prompts (Wildcards) Workflow

Denna arbetsflöde presenterar en metod för att generera varierande och engagerande innehåll. Genom att utnyttja kraften i Dynamic Prompts kan användare använda ett litet mall språk för att skapa slumpmässiga uppmaningar genom den innovativa användningen av wildcards. Med tillägget av AnimateDiff och IP-Adapter utökas denna arbetsflöde till att producera dynamiska videor eller GIFs, anpassade till inmatade bilder.

2. Översikt över Dynamic Prompts (Wildcards)

2.1. Introduktion till Dynamic Prompts (Wildcards)

Dynamic Prompts (Wildcards) möjliggör dynamisk och slumpmässig generering av uppmaningar genom användning av mall språk. Denna metod gör det möjligt att skapa en stor mängd uppmaningsvariationer från en enda mall genom att inkludera platshållare som slumpmässigt kan välja från en fördefinierad uppsättning alternativ.

Det grundläggande konceptet involverar att definiera en mall med variabla platshållare (wildcards) som ersätts med slumpmässiga val från specificerade alternativ. Detta möjliggör generering av ett stort antal unika uppmaningar, vilket kan vara särskilt användbart i kreativa uppgifter som att generera varierande bilder, texter eller idéer utan att manuellt skapa varje uppmaning.

Till exempel kan ett mall språk för att generera sådana dynamiska uppmaningar låta dig specificera en uppmaningsmall som "En {color} {animal} i {location}," där varje platshållare (inringad i klammerparenteser) ersätts med ett slumpmässigt val från en lista över färger, djur och platser. Detta kan resultera i en mängd uppmaningar som "En blå hund i skogen" eller "En röd katt i staden," genererat från samma mall.

Dessutom kan denna metod inkludera avancerade funktioner såsom att nästla wildcards, använda wildcards inom wildcards för ännu mer dynamiska kombinationer, sätta variabler för återanvändning inom en uppmaning, och till och med specificera antalet objekt att välja eller användning av vikter för att påverka valfrekvensen av vissa alternativ. Dessa funktioner möjliggör skapandet av mycket komplexa och varierade uppmaningar med minimal manuell ansträngning.

För mer information, kolla det på Github

3. Översikt över AnimateDiff

Vänligen kolla detaljerna på Overview of AnimateDiff