AnimateDiff + Batch Prompt Schedule | Tekst na Wideo

1. AnimateDiff + Batch Prompt Schedule Workflow

Przepływ pracy AnimateDiff i Batch Prompt Schedule umożliwia dynamiczne tworzenie wideo z tekstowych promptów. Dzięki umożliwieniu planowanych, dynamicznych zmian promptów w czasie, Batch Prompt Schedule udoskonala ten proces, oferując skomplikowaną kontrolę nad narracją i wizualizacjami animacji oraz rozszerzając możliwości twórcze w zakresie opowiadania historii.

2. Przegląd AnimateDiff

Proszę sprawdzić szczegóły na How to use AnimateDiff in ComfyUI

3. Przegląd Batch Prompt Schedule

3.1. Wprowadzenie do Batch Prompt Schedule

Batch Prompt Schedule w ComfyUI to potężny węzeł zaprojektowany do efektywnego zarządzania i planowania skomplikowanych promptów w serii klatek lub iteracji. Umożliwia twórcom dynamiczne dostosowywanie tekstu i parametrów w czasie, pozwalając na szczegółową kontrolę w animacji i innych projektach związanych z mediami czasowymi.

3.2 Jak używać Batch Prompt Schedule

Po pierwsze, ważne jest, aby zauważyć trzy pola tekstowe dla promptów w węźle Batch Prompt Schedule: Initial Text Field, Pretext Field i Posttext Field.

Aby skomponować Initial Text Field w ComfyUI Batch Prompt Schedule, zasadniczo definiujesz główny lub bazowy prompt, który będzie stosowany we wszystkich klatkach lub iteracjach w twoim harmonogramie. Odbywa się to za pomocą Pretext Field lub Posttext Field, które odpowiednio pozwalają na dodanie tekstu na początku lub na końcu każdego zaplanowanego promptu.

Initial Text Field: To jest główne pole tekstowe, w którym wprowadzasz prompty, które chcesz przetworzyć przez Batch Prompt Schedule. Określ prompt dla klatek kluczowych tutaj. Na przykład:

json "0": "Grim Reaper, stojący wśród grobów, niosący kosę, na mglistym cmentarzu w nocy, upiorna mgła, pełnia księżyca, latające nietoperze, dynie na Halloween", "25": "Męski zombie, otwarte usta, jedzący mózg, w opuszczonym postapokaliptycznym pejzażu miejskim, ściany z graffiti, migoczące latarnie uliczne", "50": "Wilkołak wyje, jego oczy świecą na czerwono, w gęstym upiornym lesie, pełnia jasnego księżyca, wataha wilków w tle"

Pretext Field: Tekst, który jest dodawany na początku każdego promptu w harmonogramie, pozwalając na spójne podstawy we wszystkich zaplanowanych promptach.

Posttext Field: Tekst, który jest dodawany na końcu każdego promptu w harmonogramie, umożliwiając jednolite zakończenie każdego promptu lub dodanie spójnych elementów we wszystkich promptach.

Dodatkowo, istnieją inne parametry pomagające kontrolować prompty:

Max Frames: Określa maksymalną liczbę klatek, do których stosuje się harmonogram batch prompt. Ważne jest, aby dostosować tę liczbę do liczby latentów w twojej partii lub do całkowitej liczby klatek animacji, które zamierzasz wyprodukować.

Print Output: Parametr logiczny, który po włączeniu, pozwala na drukowanie wyników do celów debugowania lub weryfikacji.

Start Frame: Określa klatkę początkową dla harmonogramu batch prompt.

PW Fields: Te pola (pw_a, pw_b, pw_c, pw_d) ułatwiają dynamiczne dostosowanie wag promptów w czasie. Manipulując tymi wagami za pomocą wyrażeń i łącząc je z innymi zaplanowanymi wartościami, twórcy zyskują subtelną kontrolę nad tym, jak różne aspekty promptu wpływają na wynik harmonogramu batch. Na przykład, można włączyć pw_a, pw_b, pw_c i pw_d do Initial Text Field w następujący sposób:

json "0": "Radosny tancerz w świetle reflektorów, szeroko uśmiechnięty (szczęście:pw_a)", "24": "Rozmyślający tancerz w blasku księżyca, pogrążony w myślach (rozmyślanie:pw_b)", "48": "Smutna postać w cieniu, łzy błyszczące w blasku księżyca (smutek:pw_c)"

Ten przepływ pracy jest inspirowany przez MDMZ. Aby uzyskać więcej informacji, odwiedź jego kanał na YouTube.