AnimateDiff + Batch Prompt Schedule | Tekst til Video

1. AnimateDiff + Batch Prompt Schedule Workflow

AnimateDiff og Batch Prompt Schedule workflow muliggør den dynamiske skabelse af videoer fra tekstuelle prompts. Ved at tillade planlagte, dynamiske ændringer af prompts over tid forbedrer Batch Prompt Schedule denne proces, hvilket tilbyder indviklet kontrol over narrativ og visuelle elementer i animationen og udvider de kreative muligheder for historiefortælling.

2. Oversigt over AnimateDiff

Se venligst detaljerne om How to use AnimateDiff in ComfyUI

3. Oversigt over Batch Prompt Schedule

3.1. Introduktion til Batch Prompt Schedule

Batch Prompt Schedule i ComfyUI er en kraftfuld node designet til effektivt at håndtere og planlægge komplekse prompts på tværs af en række frames eller iterationer. Det muliggør, at skabere dynamisk kan justere tekst og parametre over tid, hvilket giver detaljeret kontrol i animation og andre tidsbaserede medieprojekter.

3.2 Sådan bruges Batch Prompt Schedule

For det første er det vigtigt at bemærke de tre tekstfelter til prompts i Batch Prompt Schedule node: Initial Text Field, Pretext Field, og Posttext Field.

For at komponere et Initial Text Field i en ComfyUI Batch Prompt Schedule definerer du i bund og grund den kerne eller basisprompt, der vil blive anvendt på tværs af alle frames eller iterationer i din plan. Dette opnås ved hjælp af Pretext Field eller Posttext Field, som henholdsvis tillader dig at præpende eller tilføje tekst til hver planlagt prompt.

Initial Text Field: Dette er hovedtekstfeltet, hvor du indtaster de prompts, du ønsker behandlet af Batch Prompt Schedule. Specificer prompten for nøgleframes her. For eksempel:

json "0": "Grim Reaper, står blandt gravene, bærer en le, i en tåget kirkegård om natten, uhyggelig tåge, fuldmåne, flagermus flyver rundt, Halloween græskar", "25": "Mandlig zombie, åben mund, spiser en hjerne, i en forladt post-apokalyptisk bylandskab, graffiti vægge, flimrende gadelygter", "50": "Varulv hyler, hans øjne gløder rødt, i en tæt uhyggelig skov, fuld lysende måne, ulveflok i baggrunden"

Pretext Field: Tekst, der præpendes i begyndelsen af hver prompt i planen, hvilket muliggør en ensartet base på tværs af alle planlagte prompts.

Posttext Field: Tekst, der tilføjes i slutningen af hver prompt i planen, hvilket muliggør en ensartet afslutning på hver prompt eller tilføjer ensartede elementer på tværs af prompts.

Derudover er der nogle andre parametre til at hjælpe med at kontrollere prompts:

Max Frames: Bestemmer det maksimale antal frames, som batch prompt schedule anvendes på. Det er afgørende at justere dette antal med antallet af latents i din batch eller det samlede antal animationsframes, du har til hensigt at producere.

Print Output: En boolsk parameter, der, når den er aktiveret, tillader output at blive udskrevet til debugging eller verifikationsformål.

Start Frame: Specificerer startframen for batch prompt schedule.

PW Fields: Disse felter (pw_a, pw_b, pw_c, pw_d) muliggør dynamisk justering af promptvægtninger over tid. Ved at manipulere disse vægtninger gennem udtryk og koble dem til andre planlagte værdier, får skabere nuanceret kontrol over, hvordan forskellige aspekter af prompten påvirker batch schedulens output. For eksempel kan du inkorporere pw_a, pw_b, pw_c, og pw_d i Initial Text Field som følger:

json "0": "En glad danser i spotlightet, smiler bredt (glæde:pw_a)", "24": "En eftertænksom danser under måneskinnet, fortabt i tanker (eftertænksomhed:pw_b)", "48": "En sorgfuld figur i skyggerne, tårer glitrer i måneskinnet (sorg:pw_c)"

Dette workflow er inspireret af MDMZ. For mere information, besøg venligst hans YouTube-kanal.