ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer adalah alur kerja ComfyUI Vid2Vid yang kuat yang memungkinkan pengguna untuk mengubah video nyata menjadi berbagai objek atau elemen. Dengan alur kerja ini, Anda dapat membuat animasi video yang menakjubkan dengan mentransfer gerakan dan gaya dari video sumber ke gambar atau objek target. Tutorial ini akan memandu Anda melalui komponen dan pengaturan utama yang diperlukan untuk mencapai hasil terbaik.

Kredit

Terima kasih kepada MDMZ dan DP atas kontribusi luar biasa mereka dalam menciptakan alur kerja ini! MDMZ membagikan ComfyUI Vid2Vid Dance Transfer Workflow-nya melalui tutorial YouTube-nya , yang dibangun di atas alur kerja asli DP .

1. Apa yang dilakukan oleh Alur Kerja ComfyUI Vid2Vid Dance Transfer?

Alur kerja ComfyUI Vid2Vid Dance Transfer memungkinkan Anda mengambil video nyata dan mengubahnya menjadi animasi bergaya. Ini mentransfer gerakan dan gerakan tari dari video sumber ke gambar atau objek target pilihan Anda.

2. Komponen Utama dari Alur Kerja ComfyUI Vid2Vid

2.1 Mengunggah Video dan Membuat Masker

• Alur kerja ComfyUI Vid2Vid dimulai dengan komponen VHS_LoadVideo, di mana Anda mengunggah video sumber yang berisi gerakan tari yang ingin Anda transfer.
• Komponen LayerMask: RemBgUltra digunakan untuk menghapus latar belakang dari frame video dan membuat masker hitam putih dari subjek. Masker ini penting untuk mengidentifikasi dan mentransfer gerakan dengan benar.
• Komponen ImageToMask dan MaskToImage mengonversi antara format gambar dan masker sesuai kebutuhan dalam alur kerja ComfyUI Vid2Vid.
• 🌟 Tips Penting: Platform RunComfy telah memuat sebelumnya "model RemBgultra" yang diperlukan untuk node "Layer Style". Jika Anda telah menginstal node "Layer Style" sendiri, silakan hapus file "Layer Style" dari penjelajah file pribadi Anda untuk menghindari konflik. Setelah Anda menghapus file "Layer Style" Anda, alur kerja akan menggunakan preload RunComfy dan berjalan dengan lancar.

2.2 Mengatur Gambar Target dengan IPAdapter

• Komponen IPAdapterAdvanced digunakan untuk memuat dan mengonfigurasi gambar atau objek target yang akan menerima transfer tari ComfyUI Vid2Vid. Anda dapat mengunggah gambar target menggunakan node LoadImage, dan mengunggah gambar latar belakang target menggunakan node LoadBgImage
• IPAdapterUnifiedLoader digunakan untuk memuat IPAdapter, yang menentukan kekuatan pengaruh gambar target pada keluaran.

2.3 Menerapkan AnimateDiff untuk Transfer Gerakan

• Inti dari transfer tari ComfyUI Vid2Vid didukung oleh AnimateDiff Latent Condition Model (LCM). Ini dimuat menggunakan komponen ADE_LoadAnimateDiffModel di ComfyUI Vid2Vid.
• Komponen tambahan seperti ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions, dan ADE_ApplyAnimateDiffModelSimple digunakan untuk mengonfigurasi pengaturan sampling, opsi konteks, dan menerapkan model AnimateDiff masing-masing di ComfyUI Vid2Vid.
• Komponen ADE_UseEvolvedSampling digunakan untuk memilih metode sampling yang sesuai untuk model AnimateDiff di ComfyUI Vid2Vid.

2.4 Membimbing Keluaran dengan ControlNet

• ControlNet digunakan untuk membimbing dan menentukan bentuk serta garis besar subjek dalam animasi keluaran.
• Komponen ControlNetLoaderAdvanced digunakan untuk memuat model ControlNet. Alur kerja ini menggunakan dua model ControlNet: QR Code Monster dan Lineart.
• Komponen ControlNet Stacker digunakan untuk menumpuk dan menggabungkan keluaran ControlNet dengan kekuatan yang dapat disesuaikan dalam ComfyUI Vid2Vid Transfer.

2.5 Menghasilkan Frame Keluaran dengan KSampler

• Komponen KSampler (Efficient) di ComfyUI Vid2Vid bertanggung jawab untuk menghasilkan frame keluaran berdasarkan semua konfigurasi dan input yang diberikan.
• Komponen KSampler utama memproses frame video untuk membuat pratinjau animasi. Ini mengambil model AnimateDiff, keluaran IPAdapter, tumpukan ControlNet, dan pengaturan lainnya sebagai input.
• Komponen KSampler kedua digunakan untuk meningkatkan skala dan mengurangi noise frame keluaran ComfyUI Vid2Vid.

2.6 Meningkatkan Skala jika diperlukan

• Komponen ImageScaleBy digunakan untuk meningkatkan resolusi frame keluaran. Komponen ImageUpscaleWithModel digunakan untuk lebih meningkatkan skala frame menggunakan model upscale yang dipilih. Alur kerja secara default menonaktifkan komponen upscale. Jika Anda membutuhkannya, aktifkan komponen ini untuk mendapatkan hasil yang lebih baik.