Audioreactive Mask Dilation | Animasi Menakjubkan

Ciptakan animasi video yang menakjubkan dengan mengubah subjek Anda (misalnya, seorang penari) dengan aura dinamis yang berkembang dan menyusut secara ritmis seiring dengan ketukan. Gunakan workflow ini dengan subjek tunggal atau beberapa subjek seperti yang terlihat dalam contoh.

Cara menggunakan Workflow Audioreactive Mask Dilation:

1. Unggah video subjek di bagian Input
2. Pilih lebar dan tinggi yang diinginkan untuk video akhir, bersama dengan berapa banyak frame dari video input yang harus dilewati dengan 'every_nth'. Anda juga dapat membatasi jumlah total frame yang akan dirender dengan 'frame_load_cap'.
3. Isi prompt positif dan negatif. Atur waktu frame batch untuk menyesuaikan kapan transisi adegan akan terjadi.
4. Unggah gambar untuk setiap warna masker subjek IP Adapter default:
   1. Merah = subjek (penari)
   2. Hitam = Latar Belakang
   3. Putih = Masker dilatasi audioreaktif putih
5. Muat checkpoint LCM yang bagus (saya menggunakan ParadigmLCM oleh Machine Delusions) di bagian 'Models'.
   1. Tambahkan loras menggunakan Lora stacker di bawah model loader
6. Klik Queue Prompt

Input

• Unggah video subjek yang diinginkan ke node Load Video (Upload).
• Sesuaikan lebar dan tinggi output menggunakan dua input di kiri atas.
• every_nth mengatur apakah akan menggunakan setiap frame kedua, setiap frame ketiga dan seterusnya (2 = setiap frame kedua). Dibiarkan pada 1 secara default.
• skip_frames digunakan untuk melewati frame di awal video. (100 = lewati 100 frame pertama dari video input). Dibiarkan pada 0 secara default.
• frame_load_cap digunakan untuk menentukan berapa banyak total frame dari video input yang harus dimuat. Sebaiknya tetap rendah saat menguji pengaturan (30 - 60 misalnya) dan kemudian tingkatkan atau atur ke 0 (tanpa batasan frame) saat merender video akhir.
• Kolom angka di kanan bawah menampilkan info tentang video input yang diunggah: total frame, lebar, tinggi, dan FPS dari atas ke bawah.
• Jika Anda sudah memiliki video masker subjek yang dihasilkan, un-mute bagian 'Upload Subject Mask' dan unggah video masker. Opsionalnya mute bagian 'Segment Dancer' untuk menghemat waktu pemrosesan.
• Kadang-kadang subjek yang tersegmentasi tidak sempurna, kemudian periksa kualitas masker menggunakan kotak pratinjau di kanan bawah seperti yang terlihat di atas. Jika itu terjadi, Anda dapat bermain-main dengan prompt di node 'Florence2Run' untuk menargetkan bagian tubuh yang berbeda seperti 'kepala', 'dada', 'kaki', dll. dan melihat apakah Anda mendapatkan hasil yang lebih baik.

Prompt

• Atur prompt positif menggunakan format batch:
  • misalnya '0': '4k, masterpiece, 1girl standing on the beach, absurdres', '25': 'HDR, sunset scene, 1girl with black hair and a white jacket, absurdres', …
• Prompt negatif adalah format normal, tambahkan embeddings jika diinginkan.

Audio Processing

• Bagian ini mengambil audio dari video input, mengekstrak stem (bass, drum, vokal, dll.) dan kemudian mengonversinya ke amplitudo normalisasi yang disinkronkan dengan frame video input.
• amp_control = total rentang amplitudo yang dapat ditempuh.
• amp_offset = nilai minimum yang dapat diambil oleh amplitudo.
  • Contoh: amp_control = 0.8 dan amp_offset = 0.2 berarti sinyal akan bergerak antara 0.2 dan 1.0.
• Kadang-kadang stem Drums mengandung nada Bass yang sebenarnya dari lagu; pratinjau masing-masing untuk menentukan mana yang terbaik untuk masker Anda.
• Gunakan grafik untuk mendapatkan pemahaman yang jelas tentang bagaimana sinyal untuk stem tersebut berubah sepanjang durasi video.

Dilate Masks

• Setiap grup berwarna sesuai dengan warna masker dilatasi yang akan dihasilkan olehnya.
• Atur radius min dan max untuk masker dilatasi, bersama dengan bentuknya, menggunakan node berikut:

• shape: 'circle' adalah yang paling akurat tetapi membutuhkan waktu lebih lama untuk dihasilkan. Atur ini saat Anda siap untuk melakukan rendering akhir. 'square' cepat dihitung tetapi kurang akurat, terbaik untuk menguji workflow dan memutuskan gambar IP adapter.
• max_radius: Radius masker dalam piksel saat nilai amplitudo maksimal (1.0).
• min_radius: Radius masker dalam piksel saat nilai amplitudo minimal (0.0).
• Jika Anda sudah memiliki video masker komposit yang dihasilkan, Anda dapat un-mute grup 'Override Composite Mask' dan mengunggahnya. Disarankan untuk melewati grup masker dilatasi jika mengganti untuk menghemat waktu pemrosesan.

Models

• Gunakan model LCM yang bagus untuk checkpoint. Saya merekomendasikan ParadigmLCM oleh Machine Delusions.
• Gabungkan beberapa model bersama menggunakan Model Merge Stack untuk mendapatkan berbagai efek menarik. Pastikan bobotnya berjumlah 1.0 untuk model yang diaktifkan.
• Opsionalnya tentukan AnimateLCM_sd15_t2v_lora.safetensors dengan bobot rendah 0.18 untuk lebih meningkatkan hasil akhir.
• Tambahkan Loras tambahan ke model menggunakan Lora stacker di bawah model loader.

AnimateDiff

• Atur Motion Lora yang berbeda dari yang saya gunakan (LiquidAF-0-1.safetensors)
• Tingkatkan/kurangi Scale dan Effect float untuk meningkatkan/mengurangi jumlah gerakan dalam output.

IP Adapters

• Di sini Anda dapat menentukan gambar referensi yang akan digunakan untuk merender latar belakang untuk setiap masker dilatasi, serta subjek video Anda.
• Warna setiap grup mewakili masker yang ditargetkan:

Merah, Hijau, Biru:

• Gambar referensi masker subjek.

Hitam:

• Gambar masker latar belakang, unggah gambar referensi untuk latar belakang.

Putih, Kuning, Magenta, Cyan:

• Gambar referensi masker dilatasi, unggah gambar referensi untuk setiap warna masker dilatasi yang digunakan.

ControlNet

• Workflow ini menggunakan 5 controlnet yang berbeda, termasuk AD, Lineart, QR Code, Depth, dan OpenPose.
• Semua input ke controlnet dihasilkan secara otomatis
• Anda dapat memilih untuk mengganti video input untuk controlnet Lineart, Depth, dan Openpose jika diinginkan dengan un-mute grup 'Override' seperti yang terlihat di bawah:

• Disarankan Anda juga mute grup 'Generate' jika mengganti untuk menghemat waktu pemrosesan.

Tip:

• Lewati Ksampler dan mulai render dengan video input penuh Anda. Setelah semua video preprocessor dihasilkan, simpan dan unggah ke override yang sesuai. Mulai sekarang saat menguji workflow, Anda tidak perlu menunggu setiap video preprocessor dihasilkan satu per satu.

Sampler

• Secara default, grup HiRes Fix sampler akan di-mute untuk menghemat waktu pemrosesan saat menguji
• Saya merekomendasikan melewati grup Sampler juga saat mencoba bereksperimen dengan pengaturan masker dilatasi untuk menghemat waktu.
• Pada render akhir, Anda dapat un-mute grup HiRes Fix yang akan memperbesar dan menambahkan detail ke hasil akhir.

Output

• Ada dua grup output: kiri untuk output sampler standar, dan kanan untuk output HiRes Fix sampler.

Tentang Penulis

Akatz AI:

• Website:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontak:

• Email: akatz.hello@gmail.com