AnimateDiff + Batch Prompt Schema | Tekst naar Video

1. AnimateDiff + Batch Prompt Schema Workflow

De AnimateDiff en Batch Prompt Schema workflow maakt de dynamische creatie van video's vanuit tekstuele prompts mogelijk. Door geplande, dynamische wijzigingen in prompts in de loop van de tijd toe te staan, verbetert het Batch Prompt Schema dit proces, biedt het gedetailleerde controle over de verhaallijn en visuals van de animatie en breidt het de creatieve mogelijkheden voor storytelling uit.

2. Overzicht van AnimateDiff

Bekijk de details op How to use AnimateDiff in ComfyUI

3. Overzicht van Batch Prompt Schema

3.1. Introductie tot Batch Prompt Schema

Het Batch Prompt Schema in ComfyUI is een krachtige node die is ontworpen voor efficiënt beheer en planning van complexe prompts over een reeks frames of iteraties. Het stelt makers in staat om tekst en parameters in de loop van de tijd dynamisch aan te passen, waardoor gedetailleerde controle mogelijk is in animatie en andere tijdgebaseerde mediaprojecten.

3.2 Hoe Batch Prompt Schema te gebruiken

Ten eerste is het belangrijk om de drie tekstvelden voor prompts in de Batch Prompt Schema node op te merken: Initial Text Field, Pretext Field, en Posttext Field.

Om een Initial Text Field samen te stellen in een ComfyUI Batch Prompt Schema, definieer je in wezen de kern of basisprompt die wordt toegepast op alle frames of iteraties in je schema. Dit wordt bereikt door gebruik te maken van het Pretext Field of Posttext Field, waarmee respectievelijk tekst aan het begin of einde van elke geplande prompt kan worden toegevoegd.

Initial Text Field: Dit is het hoofdtekstveld waar je de prompts invoert die je door het Batch Prompt Schema wilt laten verwerken. Specificeer hier de prompt voor keyframes. Bijvoorbeeld:

json "0": "Grim Reaper, staande tussen de graven, een zeis dragend, in een mistige begraafplaats 's nachts, griezelige mist, volle maan, vleermuizen die rondvliegen, Halloween pompoenen", "25": "Mannelijke zombie, open mond, eet een brein, in een verlaten post-apocalyptisch stadsbeeld, graffiti muren, knipperende straatlantaarns", "50": "Weerwolf huilend, zijn ogen gloeien rood, in een dicht griezelig bos, volle heldere maan, roedel wolven op de achtergrond"

Pretext Field: Tekst die aan het begin van elke prompt in het schema wordt toegevoegd, waardoor er een consistente basis ontstaat voor alle geplande prompts.

Posttext Field: Tekst die aan het einde van elke prompt in het schema wordt toegevoegd, waardoor een uniforme afsluiting aan elke prompt wordt gegeven of consistente elementen aan prompts worden toegevoegd.

Daarnaast zijn er enkele andere parameters om de prompts te helpen controleren:

Max Frames: Bepaalt het maximale aantal frames waarvoor het batch prompt schema wordt toegepast. Het is cruciaal om dit aantal af te stemmen op het aantal latents in je batch of de totale animatieframes die je wilt produceren.

Print Output: Een booleaanse parameter die, wanneer ingeschakeld, de uitvoer laat afdrukken voor debugging- of verificatiedoeleinden.

Start Frame: Specificeert het startframe voor het batch prompt schema.

PW Fields: Deze velden (pw_a, pw_b, pw_c, pw_d) vergemakkelijken de dynamische aanpassing van prompt gewichten in de loop van de tijd. Door deze gewichten te manipuleren via expressies en ze te koppelen aan andere geplande waarden, krijgen makers een genuanceerde controle over hoe verschillende aspecten van de prompt de output van het batch schema beïnvloeden. Je kunt bijvoorbeeld pw_a, pw_b, pw_c, en pw_d opnemen in het Initial Text Field als volgt:

json "0": "Een vrolijke danser in de schijnwerpers, breed glimlachend (geluk:pw_a)", "24": "Een nadenkende danser onder het maanlicht, verloren in gedachten (overpeinzing:pw_b)", "48": "Een verdrietige figuur in de schaduwen, tranen glinsteren in het maanlicht (verdriet:pw_c)"

Deze workflow is geïnspireerd door MDMZ. Voor meer informatie, bezoek zijn YouTube-kanaal.