Linear Mask Dilation | Animasi Menakjubkan

ComfyUI Linear Mask Dilation

Buat animasi video yang menakjubkan dengan mentransformasikan subjek Anda (penari) dan buat mereka berpindah melalui berbagai adegan melalui efek mask dilation. Alur kerja ini dirancang untuk digunakan dengan video satu subjek.

Cara menggunakan Alur Kerja ComfyUI Linear Mask Dilation:

1. Unggah video subjek di bagian Input
2. Pilih lebar dan tinggi video akhir yang diinginkan, serta berapa banyak frame dari video input yang harus dilewati dengan "every_nth". Anda juga dapat membatasi jumlah total frame yang akan dirender dengan "frame_load_cap".
3. Isi prompt positif dan negatif. Atur waktu frame batch agar sesuai dengan kapan Anda ingin transisi adegan terjadi.
4. Unggah gambar untuk setiap warna mask subjek IP Adapter:
   1. Putih = subjek (penari)
   2. Hitam = Latar belakang pertama
   3. Merah = Latar belakang mask dilasi merah
   4. Hijau = Latar belakang mask dilasi hijau
   5. Biru = Latar belakang mask dilasi biru
5. Muat checkpoint LCM yang baik (saya menggunakan ParadigmLCM oleh Machine Delusions) di bagian "Models".
   1. Tambahkan loras apa pun menggunakan penumpuk Lora di bawah pemuat model
6. Tekan Queue Prompt

Input

• Anda dapat menyesuaikan lebar dan tinggi menggunakan dua input di kiri atas
• every_nth mengatur berapa banyak frame dari input yang harus dilewati (2 = setiap frame lainnya)
• Kolom angka di kiri bawah menampilkan info tentang video input yang diunggah: total frame, lebar, tinggi, dan FPS dari atas ke bawah.
• Jika Anda sudah memiliki video mask subjek yang dihasilkan (harus subjek putih pada latar belakang hitam), Anda dapat membisukan bagian "Override Subject Mask" dan mengunggah video mask. Opsional, Anda dapat membisukan bagian "Segment Subject" untuk menghemat waktu pemrosesan.
• Terkadang subjek yang tersegmentasi tidak sempurna, Anda dapat memeriksa kualitas mask menggunakan kotak pratinjau di kanan bawah seperti yang terlihat di atas. Jika demikian, Anda dapat bermain-main dengan prompt di node "Florence2Run" untuk menargetkan bagian tubuh yang berbeda seperti "kepala", "dada", "kaki", dll. dan melihat apakah Anda mendapatkan hasil yang lebih baik.

Prompt

• Atur prompt positif menggunakan format batch:
  • misalnya "0": "4k, masterpiece, 1girl standing on the beach, absurdres", "25": "HDR, sunset scene, 1girl with black hair and a white jacket, absurdres", …
• Prompt negatif dalam format normal, Anda dapat menambahkan embeddings jika diinginkan.

Mask Dilations

• Setiap grup berwarna sesuai dengan warna mask dilasi yang akan dihasilkan olehnya.
• Anda dapat mengatur bentuk mask, bersama dengan kecepatan dilasi dan jeda frame dengan node berikut:
  • shape: "circle" adalah yang paling akurat tetapi memerlukan waktu lebih lama untuk dihasilkan. Atur ini ketika Anda siap untuk melakukan rendering akhir. "square" cepat dihitung tetapi kurang akurat, terbaik untuk menguji alur kerja dan memutuskan gambar IP adapter.
  • dilate_per_frame: Seberapa cepat mask harus dilasi, angka yang lebih besar = kecepatan dilasi lebih cepat
  • delay: Berapa banyak frame untuk menunggu sebelum mask mulai dilasi.
• Jika Anda sudah memiliki video mask komposit yang dihasilkan, Anda dapat membisukan grup "Override Composite Mask" dan mengunggahnya. Disarankan untuk melewati grup mask dilasi jika mengganti untuk menghemat waktu pemrosesan.

Models

• Gunakan model LCM yang baik untuk checkpoint. Saya merekomendasikan ParadigmLCM oleh Machine Delusions.
• Anda dapat secara opsional menentukan AnimateLCM_sd15_t2v_lora.safetensors dengan bobot rendah 0.18 untuk lebih meningkatkan hasil akhir.
• Tambahkan Loras tambahan ke model menggunakan penumpuk Lora biru di bawah pemuat model.

AnimateDiff

• Anda dapat mengatur Motion Lora yang berbeda dari yang saya gunakan (LiquidAF-0-1.safetensors)
• Sesuaikan nilai Multival Dynamic float lebih tinggi atau lebih rendah tergantung apakah Anda ingin hasilnya memiliki lebih banyak atau lebih sedikit gerakan.

IP Adapters

• Di sini Anda dapat menentukan subjek referensi yang akan digunakan untuk merender latar belakang untuk setiap mask dilasi, serta subjek video Anda.
• Warna setiap grup mewakili mask yang ditargetkannya:
  • Putih = subjek (penari)
  • Hitam = Latar belakang pertama
  • Merah = Latar belakang mask dilasi merah
  • Hijau = Latar belakang mask dilasi hijau
  • Biru = Latar belakang mask dilasi biru
• Jika Anda ingin rendering akhir lebih mengikuti gambar IP adapter input, Anda dapat mengubah preset IPAdapter dari VIT-G ke PLUS di grup IPA Unified Loader.

ControlNet

• Alur kerja ini menggunakan 5 controlnets yang berbeda, termasuk AD, Lineart, QR Code, Depth, dan OpenPose.
• Semua input ke controlnets dihasilkan secara otomatis
• Anda dapat memilih untuk mengganti video input untuk controlnets Depth dan Openpose jika diinginkan dengan membisukan grup "Override Depth" dan "Override Openpose" seperti terlihat di bawah ini:

• Disarankan untuk membisukan grup "Generate Depth" dan "Generate Openpose" jika mengganti untuk menghemat waktu pemrosesan.

Sampler

• Secara default grup HiRes Fix sampler akan dibisukan untuk menghemat waktu pemrosesan saat pengujian
• Saya menyarankan untuk melewati grup Sampler juga saat mencoba bereksperimen dengan pengaturan mask dilasi untuk menghemat waktu.
• Pada rendering akhir Anda dapat membisukan grup HiRes Fix yang akan meningkatkan skala dan menambahkan detail pada hasil akhir.

Output

• Ada dua grup output: kiri untuk output sampler standar, dan kanan untuk output HiRes Fix sampler.
• Anda dapat mengubah tempat file akan disimpan dengan mengubah string "custom_directory" dalam node "FileNamePrefixDateDirFirst". Secara default node ini akan menyimpan video output dalam direktori berstempel waktu di direktori "output" ComfyUI
  • misalnya …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

Tentang Penulis

Akatz AI:

• Website:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontak:

• Email: akatzfey@sendysoftware.com