LivePortrait | Animasi Potret | Vid2Vid

Berkat node dan workflow , membuat animasi LivePortrait yang realistis di ComfyUI kini lebih mudah. Berikut adalah penjelasan tentang komponen dan parameter utama dari workflow-nya.

Silakan baca terlebih dahulu deskripsi untuk memahami langkah-langkah workflow. Setelah memahami proses LivePortrait Img2Vid, Anda akan melihat beberapa perubahan kecil antara workflow LivePortrait Vid2Vid dan Img2Vid.

Perbedaan Antara ComfyUI LivePortrait Vid2Vid dan Img2Vid

1. Memuat video menggunakan "VHS_LoadVideo" daripada gambar

• Dalam workflow LivePortrait Img2Vid ini, Anda memuat gambar statis sebagai sumber menggunakan node "LoadImage". Namun, dalam workflow Vid2Vid, Anda perlu memuat video sebagai sumbernya. Sesuaikan "frame_load_cap" untuk mengontrol berapa banyak frame yang dimuat.
• Ubah ukuran video sumber ke resolusi yang lebih tinggi seperti 1024x1024 untuk kualitas yang lebih baik. Setelah memuat video sumber dengan "VHS_LoadVideo", gunakan node "ImageResizeKJ" untuk meningkatkan resolusi frame menjadi 1024x1024. Ini akan membantu mempertahankan ketajaman dan detail dalam output akhir. Saat bekerja dengan video, disarankan untuk menggunakan resolusi yang lebih tinggi untuk sumber dibandingkan dengan workflow Img2Vid. Sementara 512x512 sering cukup untuk gambar statis, video mendapat manfaat dari resolusi yang lebih tinggi untuk mempertahankan detail dan kualitas.
• Frame video penggerak masih dapat diubah ukurannya menjadi resolusi lebih rendah seperti 480x480 untuk menghemat waktu pemrosesan, karena mereka hanya menyediakan informasi gerakan.

2. Gunakan mode gerakan relatif "source_video_smoothed" untuk hasil LivePortrait Vid2Vid yang lebih halus

• Node "LivePortraitProcess" memiliki parameter "relative_motion_mode" yang mengontrol bagaimana gerakan ditransfer dari video penggerak ke sumber. Untuk Vid2Vid, disarankan menggunakan mode "source_video_smoothed".
• Dalam mode ini, gerakan LivePortrait dihaluskan seiring waktu berdasarkan video input, yang membantu menciptakan hasil yang lebih koheren dan stabil secara temporal. Ini sangat penting untuk video, di mana lonjakan mendadak atau getaran dalam gerakan dapat lebih terlihat daripada pada gambar tunggal.
• Mode gerakan lain seperti "relative" atau "single_frame" mungkin bekerja lebih baik untuk Img2Vid, tetapi "source_video_smoothed" biasanya adalah pilihan terbaik untuk Vid2Vid.

3. Hubungkan FPS video sumber dan audio ke "VHS_VideoCombine" untuk menjaga sinkronisasi audio untuk LivePortrait Vid2Vid

• Saat membuat video output akhir dengan node "VHS_VideoCombine", penting untuk menjaga sinkronisasi audio dengan frame video. Ini melibatkan dua koneksi kunci:
• Pertama, hubungkan audio video sumber ke input "audio" dari "VHS_VideoCombine" menggunakan node "Reroute". Ini akan memastikan audio asli digunakan dalam video output.
• Kedua, hubungkan frame rate (FPS) video sumber ke input "frame_rate" dari "VHS_VideoCombine". Anda bisa mendapatkan FPS menggunakan node "VHS_VideoInfo", yang mengekstrak metadata dari video sumber. Ini akan memastikan video output sesuai dengan timing dari sumber.
• Dengan menangani audio dan frame rate dengan hati-hati, Anda dapat membuat output Vid2Vid LivePortrait yang menjaga sinkronisasi dan timing yang tepat, yang sangat penting untuk hasil yang realistis dan dapat ditonton.