AnimateDiff + Batch Prompt Schedule | Teks ke Video

1. Alur Kerja AnimateDiff + Batch Prompt Schedule

Alur kerja AnimateDiff dan Batch Prompt Schedule memungkinkan pembuatan video dinamis dari prompt tekstual. Dengan memungkinkan perubahan prompt yang dijadwalkan dan dinamis seiring waktu, Batch Prompt Schedule meningkatkan proses ini, menawarkan kontrol rinci atas narasi dan visual animasi serta memperluas kemungkinan kreatif untuk bercerita.

2. Tinjauan AnimateDiff

Silakan cek detailnya di Cara menggunakan AnimateDiff di ComfyUI

3. Tinjauan Batch Prompt Schedule

3.1. Pengantar Batch Prompt Schedule

Batch Prompt Schedule di ComfyUI adalah node yang kuat yang dirancang untuk mengelola dan menjadwalkan prompt kompleks secara efisien di berbagai frame atau iterasi. Ini memungkinkan kreator untuk menyesuaikan teks dan parameter secara dinamis seiring waktu, memungkinkan kontrol rinci dalam animasi dan proyek media berbasis waktu lainnya.

3.2 Cara Menggunakan Batch Prompt Schedule

Pertama, penting untuk dicatat tiga bidang teks untuk prompt di node Batch Prompt Schedule: Initial Text Field, Pretext Field, dan Posttext Field.

Untuk menyusun Initial Text Field dalam Batch Prompt Schedule di ComfyUI, Anda pada dasarnya mendefinisikan prompt inti atau dasar yang akan diterapkan di semua frame atau iterasi dalam jadwal Anda. Ini dilakukan menggunakan Pretext Field atau Posttext Field, yang masing-masing memungkinkan Anda untuk menambahkan teks di awal atau akhir setiap prompt yang dijadwalkan.

Initial Text Field: Ini adalah input teks utama di mana Anda memasukkan prompt yang ingin diproses oleh Batch Prompt Schedule. Tentukan prompt untuk keyframes di sini. Misalnya:

json "0": "Grim Reaper, berdiri di antara kuburan, membawa sabit, di pemakaman berkabut pada malam hari, kabut menyeramkan, bulan purnama, kelelawar terbang di sekitar, labu Halloween", "25": "Zombie pria, mulut terbuka, makan otak, di kota pasca-apokaliptik yang ditinggalkan, dinding grafiti, lampu jalan berkedip", "50": "Werewolf melolong, matanya bersinar merah, di hutan lebat yang menyeramkan, bulan purnama yang cerah, kawanan serigala di latar belakang"

Pretext Field: Teks yang ditambahkan di awal setiap prompt dalam jadwal, memungkinkan dasar yang konsisten di semua prompt yang dijadwalkan.

Posttext Field: Teks yang ditambahkan di akhir setiap prompt dalam jadwal, memungkinkan kesimpulan yang seragam untuk setiap prompt atau menambahkan elemen konsisten di seluruh prompt.

Selain itu, ada beberapa parameter lain untuk membantu mengontrol prompt:

Max Frames: Menentukan jumlah maksimum frame di mana jadwal prompt batch diterapkan. Penting untuk menyelaraskan angka ini dengan jumlah latents dalam batch Anda atau total frame animasi yang ingin Anda hasilkan.

Print Output: Parameter boolean yang, ketika diaktifkan, memungkinkan output dicetak untuk tujuan debugging atau verifikasi.

Start Frame: Menentukan frame awal untuk jadwal prompt batch.

PW Fields: Bidang ini (pw_a, pw_b, pw_c, pw_d) memfasilitasi penyesuaian dinamis dari bobot prompt seiring waktu. Dengan memanipulasi bobot ini melalui ekspresi dan menghubungkannya ke nilai-nilai lain yang dijadwalkan, kreator mendapatkan kontrol yang lebih halus tentang bagaimana aspek-aspek berbeda dari prompt mempengaruhi output jadwal batch. Misalnya, Anda dapat memasukkan pw_a, pw_b, pw_c, dan pw_d ke dalam Initial Text Field sebagai berikut:

json "0": "Penari yang gembira di sorotan, tersenyum lebar (kebahagiaan:pw_a)", "24": "Penari yang merenung di bawah sinar bulan, tenggelam dalam pikiran (perenungan:pw_b)", "48": "Sosok sedih di bayang-bayang, air mata berkilauan di bawah sinar bulan (kesedihan:pw_c)"

Alur kerja ini terinspirasi oleh MDMZ. Untuk informasi lebih lanjut, silakan kunjungi saluran YouTube-nya.