Vid2Vid Bagian 1 | Komposisi dan Masking

Workflow ComfyUI Vid2Vid, dibuat oleh YVANN, memperkenalkan dua alur kerja yang berbeda untuk mencapai animasi berkualitas tinggi dan profesional.

• Workflow ComfyUI pertama: ComfyUI Vid2Vid Bagian 1 | Komposisi dan Masking
• Workflow kedua: ComfyUI Vid2Vid Bagian 2 | SDXL Style Transfer

ComfyUI Vid2Vid Bagian 1 | Komposisi dan Masking

Workflow ini meningkatkan kreativitas dengan fokus pada komposisi dan masking video asli Anda.

Langkah 1: Models Loader | ComfyUI Vid2Vid Workflow Bagian1

Pilih model yang sesuai untuk animasi Anda. Ini termasuk memilih model checkpoint, model VAE (Variational Autoencoder), dan model LoRA (Low-Rank Adaptation). Model-model ini sangat penting untuk mendefinisikan kemampuan dan gaya animasi Anda.

Langkah 2: Video Loader | ComfyUI Vid2Vid Workflow Bagian1

Node Input Video bertanggung jawab untuk mengimpor file video yang akan digunakan untuk animasi. Node tersebut membaca video dan mengubahnya menjadi frame individu, yang kemudian diproses pada langkah-langkah berikutnya. Ini memungkinkan pengeditan dan peningkatan secara rinci frame-by-frame.

Langkah 3: Remove Background (Auto Masking) | ComfyUI Vid2Vid Workflow Bagian1

Remove Background (Auto Masking) memisahkan subjek dari latar belakang menggunakan teknik masking otomatis. Ini melibatkan model yang mendeteksi dan memisahkan subjek dari latar belakang, menciptakan masker biner. Langkah ini sangat penting untuk memastikan bahwa subjek dapat dimanipulasi secara independen dari latar belakang.

Langkah 4: Masking Specific Area (Manual Mask atau Auto Mask) | ComfyUI Vid2Vid Workflow Bagian1

Langkah ini memungkinkan penyempurnaan masker yang dibuat pada langkah sebelumnya. Anda dapat secara manual memasker area tertentu menggunakan perangkat lunak lain atau mengandalkan fitur mask otomatis 'Segment Anything' dari ComfyUI.

• Manual Mask: Ini perlu ditangani oleh perangkat lunak lain di luar ComfyUI untuk kontrol yang tepat.
• Auto Mask: Menggunakan fitur mask otomatis, Anda dapat mendeskripsikan apa yang ingin Anda masker menggunakan kata-kata sederhana di widget prompt. Model akan membuat masker secara otomatis, meskipun mungkin tidak seakurat masker manual.

Versi default menggunakan masker manual. Jika Anda ingin mencoba yang otomatis, silakan lewati grup masker manual dan aktifkan grup masker otomatis. Selain itu, hubungkan MASK dari 'GroundingDinoSAM' (mask otomatis) ke 'GrowMaskWithBlur' alih-alih menghubungkan 'ImageToMask' (masker manual) ke 'GrowMaskWithBlur'.

Langkah 5: Transform Mask | ComfyUI Vid2Vid Workflow Bagian1

Transform Mask mengubah masker menjadi gambar dan memungkinkan penyesuaian tambahan seperti menambahkan blur pada masker asli. Ini membantu melunakkan tepi dan membuat masker menyatu lebih alami dengan sisa gambar.

Langkah 6: Input Prompt | ComfyUI Vid2Vid Workflow Bagian1

Masukkan prompt tekstual untuk memandu proses animasi. Prompt dapat menggambarkan gaya yang diinginkan, penampilan, atau tindakan subjek. Ini sangat penting untuk mendefinisikan arah kreatif animasi, memastikan bahwa output akhir sesuai dengan gaya artistik yang diinginkan.

Langkah 7: AnimateDiff | ComfyUI Vid2Vid Workflow Bagian1

Node AnimateDiff menciptakan animasi yang mulus dengan mengidentifikasi perbedaan antara frame berturut-turut dan menerapkan perubahan ini secara bertahap. Ini membantu mempertahankan koherensi gerakan dan mengurangi perubahan mendadak dalam animasi, menghasilkan tampilan yang lebih halus dan alami.

Langkah 8: IPAdapter | ComfyUI Vid2Vid Workflow Bagian1

Node IPAdapter menyesuaikan gambar input agar sesuai dengan gaya atau fitur output yang diinginkan. Ini termasuk tugas seperti pewarnaan dan transfer gaya, memastikan bahwa setiap frame animasi mempertahankan tampilan dan nuansa yang konsisten.

Langkah 9: ControlNet | ComfyUI Vid2Vid Workflow Bagian1

Menggunakan ControlNet - v1.1 - Instruct Pix2Pix Version model meningkatkan model difusi dengan memungkinkan mereka memproses kondisi input tambahan (misalnya, peta tepi, peta segmentasi). Ini memfasilitasi pembuatan teks-ke-gambar dengan mengendalikan model pralatih ini dengan kondisi tugas tertentu secara end-to-end, memungkinkan pembelajaran yang kuat bahkan dengan dataset yang lebih kecil.

Langkah 10: Render | ComfyUI Vid2Vid Workflow Bagian1

Pada langkah Render, frame yang telah diproses dikompilasi menjadi output video akhir. Langkah ini memastikan bahwa semua frame individu digabungkan dengan mulus menjadi animasi yang koheren, siap untuk diekspor dan digunakan lebih lanjut.

Langkah 11: Compose Background | ComfyUI Vid2Vid Workflow Bagian1

Ini melibatkan penggabungan subjek yang dianimasikan dengan latar belakang. Anda dapat menambahkan latar belakang statis atau dinamis ke animasi, memastikan bahwa subjek berintegrasi dengan mulus dengan latar belakang baru untuk menciptakan produk akhir yang menarik secara visual.

Dengan menggunakan workflow ComfyUI Vid2Vid Bagian1, Anda dapat membuat animasi yang rumit dengan kontrol yang tepat atas setiap aspek proses, mulai dari komposisi dan masking hingga rendering akhir.