MimicMotion | Pembuatan Video Gerakan Manusia

Apa itu MimicMotion

MimicMotion adalah kerangka kerja pembuatan video yang dapat diatur, dikembangkan oleh peneliti di Tencent dan Universitas Jiao Tong Shanghai. Ini dapat menghasilkan video berkualitas tinggi dengan panjang sembarang mengikuti panduan gerakan yang diberikan. Dibandingkan dengan metode sebelumnya, MimicMotion unggul dalam menghasilkan video dengan detail kaya, kelancaran temporal yang baik, dan kemampuan untuk menghasilkan urutan panjang.

Bagaimana MimicMotion Bekerja

MimicMotion mengambil gambar referensi dan panduan pose sebagai input. Ini kemudian menghasilkan video yang sesuai dengan penampilan gambar referensi sambil mengikuti urutan gerakan yang diberikan.

Beberapa inovasi kunci memungkinkan kinerja kuat MimicMotion:

1. Panduan pose yang menyadari kepercayaan: Dengan menggabungkan informasi kepercayaan pose, MimicMotion mencapai kelancaran temporal yang lebih baik dan lebih tahan terhadap data pelatihan yang berisik. Ini membantu generalisasi yang baik.
2. Amplifikasi kerugian regional: Memfokuskan kerugian lebih berat pada daerah pose berkepercayaan tinggi, terutama tangan, secara signifikan mengurangi distorsi gambar dalam video yang dihasilkan.
3. Penggabungan laten progresif: Untuk menghasilkan video panjang yang halus secara efisien, MimicMotion menghasilkan segmen video dengan frame tumpang tindih dan secara progresif menggabungkan representasi latennya. Ini memungkinkan pembuatan video dengan panjang sembarang dengan biaya komputasi yang terkontrol.

Model ini pertama kali dilatih pada dataset video besar, kemudian disesuaikan untuk tugas meniru gerakan. Jalur pelatihan yang efisien ini tidak memerlukan sejumlah besar data khusus.

Cara Menggunakan ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Setelah menguji berbagai node MimicMotion yang tersedia di ComfyUI, kami merekomendasikan menggunakan untuk hasil terbaik.

Langkah 1: Mempersiapkan Input Anda untuk MimicMotion

Untuk mulai menganimasikan dengan ComfyUI MimicMotion, Anda memerlukan dua bahan utama:

• Gambar referensi: Ini adalah frame awal yang berfungsi sebagai titik awal untuk animasi Anda. Pilih gambar yang dengan jelas menggambarkan subjek yang ingin Anda animasikan.
• Gambar pose: Ini adalah gambar-gambar yang menentukan urutan gerakan. Setiap gambar pose harus menunjukkan posisi atau pose yang diinginkan dari subjek Anda pada titik tertentu dalam animasi. Anda dapat membuat gambar pose ini secara manual atau menggunakan alat estimasi pose untuk mengekstrak pose dari video.

🌟Pastikan gambar referensi dan gambar pose Anda memiliki resolusi dan rasio aspek yang sama untuk hasil optimal.🌟

Langkah 2: Memuat Model MimicMotion

ComfyUI MimicMotion memerlukan model MimicMotion agar berfungsi dengan baik. Di RunComfy, model sudah dimuat sebelumnya untuk kenyamanan Anda. Untuk mengkonfigurasi node "DownLoadMimicMotionModel", ikuti langkah-langkah ini:

• Atur parameter "model" ke "MimicMotion-fp16.safetensors" (atau nama file model yang sesuai, jika berbeda).
• Pilih presisi yang diinginkan (fp32, fp16, atau bf16) berdasarkan kemampuan GPU Anda. Pilihan ini dapat mempengaruhi kinerja dan kompatibilitas.
• Biarkan parameter "lcm" diatur ke False, kecuali Anda secara khusus ingin menggunakan varian model LCM (Latent Conditional Motion).

Setelah Anda mengkonfigurasi pengaturan node, hubungkan output dari node "DownloadAndLoadMimicMotionModel" ke input node berikutnya dalam alur kerja Anda. Ini akan memastikan bahwa model MimicMotion yang dimuat digunakan dengan benar dalam langkah-langkah berikutnya dari pipeline ComfyUI Anda.

Langkah 3: Mengkonfigurasi MimicMotion Sampler

Node "MimicMotionSampler" bertanggung jawab untuk menghasilkan frame animasi berdasarkan input Anda. Berikut cara mengaturnya:

• Tambahkan node "MimicMotionSampler" dan hubungkan ke output dari node "DownloadAndLoadMimicMotionModel".
• Atur parameter "ref_image" ke gambar referensi Anda dan parameter "pose_images" ke urutan gambar pose Anda.
• Sesuaikan pengaturan sampling sesuai preferensi Anda:
  • "steps" menentukan jumlah langkah difusi (nilai yang lebih tinggi menghasilkan hasil yang lebih halus tetapi waktu pemrosesan lebih lama).
  • "cfg_min" dan "cfg_max" mengontrol kekuatan panduan kondisional (nilai yang lebih tinggi lebih patuh pada gambar pose).
  • "seed" menetapkan benih acak untuk reproduktibilitas.
  • "fps" menentukan frame per detik dari animasi yang dihasilkan.
  • Sesuaikan parameter tambahan seperti "noise_aug_strength", "context_size", dan "context_overlap" untuk bereksperimen dengan gaya dan koherensi temporal yang berbeda.

Langkah 4: Mendekode Sampel Laten

Node "MimicMotionSampler" menghasilkan representasi ruang laten dari frame animasi. Untuk mengonversi laten ini menjadi gambar sebenarnya, Anda perlu menggunakan node "MimicMotionDecode":

• Tambahkan node "MimicMotionDecode" dan hubungkan ke output dari node "MimicMotionSampler".
• Atur parameter "decode_chunk_size" untuk mengontrol jumlah frame yang didekodekan secara bersamaan (nilai yang lebih tinggi dapat mengonsumsi lebih banyak memori GPU). Output dari node "MimicMotionDecode" akan menjadi frame animasi akhir dalam format gambar.

Langkah 5: Meningkatkan Pose dengan MimicMotionGetPoses

Jika Anda ingin memvisualisasikan pose yang diekstrak bersama dengan gambar referensi Anda, Anda dapat menggunakan node "MimicMotionGetPoses":

• Hubungkan "ref_image" dan "pose_images" ke node "MimicMotionGetPoses".
• Atur parameter "include_body", "include_hand", dan "include_face" untuk mengontrol titik kunci pose mana yang ditampilkan. Outputnya akan mencakup gambar referensi dengan pose yang diekstraksi dan gambar pose individu.

Tips dan Praktik Terbaik

Berikut beberapa tips untuk membantu Anda mendapatkan hasil maksimal dari ComfyUI MimicMotion:

• Bereksperimenlah dengan berbagai gambar referensi dan urutan pose untuk membuat berbagai animasi.
• Sesuaikan pengaturan sampling untuk menyeimbangkan kualitas dan waktu pemrosesan berdasarkan kebutuhan Anda.
• Gunakan gambar pose berkualitas tinggi dan konsisten untuk hasil terbaik. Hindari perubahan drastis dalam perspektif atau pencahayaan antara pose.
• Pantau penggunaan memori GPU Anda, terutama saat bekerja dengan gambar resolusi tinggi atau animasi panjang.
• Manfaatkan node "DiffusersScheduler" untuk menyesuaikan penjadwalan noise untuk efek unik.

ComfyUI MimicMotion adalah alat yang kuat dan serbaguna yang memungkinkan Anda untuk membuat animasi yang menakjubkan dengan mudah. Dengan memahami alur kerja dan mengeksplorasi berbagai parameter, Anda akan dapat menganimasikan siapa saja dengan mudah. Saat Anda menjelajahi dunia animasi, ingatlah untuk bereksperimen, mengulangi, dan bersenang-senang sepanjang proses. Dengan ComfyUI MimicMotion, kemungkinan tidak terbatas, jadi nikmati mewujudkan visi kreatif Anda!