IC-Light | Video Relighting | AnimateDiff

Workflow ComfyUI IC-Light untuk Video Relighting

Manfaatkan potensi penuh proyek video Anda dengan workflow ComfyUI IC-Light, yang dirancang khusus untuk meningkatkan pencahayaan dalam video karakter "Human" menggunakan lightmap. Dengan ComfyUI IC-Light, Anda dapat dengan mudah mengubah video Anda hanya dengan menyediakan prompt dan elemen lightmap Anda, seperti bentuk dan lampu neon. Alat ini akan membuat video baru dengan pencahayaan yang sangat ditingkatkan.

CARA MENGGUNAKAN workflow ComfyUI IC-Light

1. Upload Video Sumber: Mulailah dengan mengunggah video yang ingin Anda tingkatkan.
2. Upload Video Peta Cahaya atau Gambar Peta Cahaya Tunggal: Pilih video peta cahaya atau gambar tunggal untuk dijadikan template pencahayaan baru Anda.
3. Masukkan Load Cap dan Pengaturan lainnya, pengaturan yang sama harus ada di Video Peta Cahaya.
4. Masukkan Prompt yang menggambarkan pengaturan cahaya baru Anda seperti Cahaya Matahari atau lampu neon.
5. Pilih Model Anda. Model realistis lebih disukai.
6. Ubah Komposisi Peta Cahaya dan Pengaturan lainnya jika diperlukan.
7. Tekan render.

Output akan disimpan di ComfyUI > Outputs

Inputs_1 - Pengaturan

Di sini kita memiliki 5 Pengaturan:

• Sampler Steps: Ini menentukan jumlah total langkah yang diambil KSampler untuk merender gambar. Jangan diubah. [Nilai Default 26]
• Detail Enhancer: Ini Meningkatkan Detail kecil dalam Render Akhir. [Gunakan nilai Antara 0,1 dan 1]
• Seed: Ini mengontrol Generasi Seed untuk setiap KSamplers.
• Sampler CFG: Ini mengontrol nilai CFG dari KSamplers.
• Refiner Upscale: Ini berfungsi seperti nilai Highres Fix. [Gunakan antara 1,1 – 1,6 untuk hasil terbaik]

Prompts

• Positive Prompt: Masukkan prompt yang paling menggambarkan Gambar Anda dengan pencahayaan baru.
• Negative Prompts: Ini dikonfigurasi untuk memberikan hasil terbaik. Silakan edit jika perlu.
• Clip Text Encode nodes: Ini membantu dalam Encoding Text untuk memaksimalkan kualitas. Biarkan di “full”

Models and Loras

• Checkpoint: Pilih model realistic SD 1.5 untuk hasil yang akurat. Bebas memilih model SD 1.5 lainnya untuk hasil yang lebih bergaya.
• Loras: [Opsional] Pilih loras dari daftar yang diberikan jika Anda menginginkannya. Jangan gunakan dengan kekuatan penuh. Gunakan sekitar 0,5-0,7 untuk efek terbaik

Input Source Video

• Upload Source Video: Di sini Anda klik dan unggah video Karakter Manusia yang ingin Anda ubah pencahayaannya.
  • Ukurannya harus di bawah 100 MB, Comfy akan gagal mengunggah ukuran besar.
  • Durasi tidak boleh lebih dari 15-20 detik. Mungkin gagal merender video yang lebih lama
  • Harus dalam 720p atau lebih rendah
  • Gunakan Skip Frames Nodes jika Anda perlu melewati beberapa frame awal. [Video peta cahaya juga akan melewati frame sebanyak ini]
• Fit Image Size Limiter: Di sini Anda membatasi resolusi render, baik itu landscape atau portrait, resolusi maksimum akan selalu di bawah atau sama dengan nilai yang ditetapkan.
  • Gunakan Nilai antara 800 – 1200 untuk hasil terbaik. [Ini akan mempengaruhi Vram]

Penting: Gunakan Frames Load Cap 10 untuk Uji Coba Pertama

• Gunakan Sekitar 200 - 300 frame pada ukuran 1000 – 1200, jika Anda memiliki 24 GB.
• Gunakan 0 jika Anda ingin merender semua frame. [Tidak Disarankan untuk video yang lebih panjang]

Mask and Depth Settings

• Mask: Ini menggunakan Robust Video Matting, Pengaturan default sudah baik.
• Depth ControlNet: Ini menggunakan model DepthAnything v2 terbaru.
  • Strength dan End Percent diatur pada 75% untuk memberikan hasil optimal
  • Gunakan Co untuk hasil terbaik.

Light Map

• Upload Light Map: Klik dan unggah video peta cahaya yang Anda inginkan.
  • Ini akan otomatis menyesuaikan ke dimensi video Sumber
  • Pastikan lebih panjang atau sama dengan dimensi video sumber, jika tidak akan memberikan kesalahan.
• Light Map ControlNet: Peta cahaya ini juga digunakan sebagai Light controlnet menggunakan
• CN Strength dan End Percent: Gunakan nilai rendah di sini, Nilai yang lebih tinggi dapat menyebabkan over exposure atau transisi cahaya yang tajam.

Single Light Map

• Untuk Menggunakan Gambar Tunggal sebagai peta cahaya, buka mute node ini dan hubungkan node reroute ke Node "Pick one Input".

AnimateDIff

• Load Animatediff Model: Anda dapat menggunakan model apa pun untuk efek yang berbeda.
• Animatediff Other nodes: Anda perlu memiliki pengetahuan tentang animatediff untuk mengubah pengaturan lainnya [ Anda dapat menemukannya ]
• Settings SMZ: Ini adalah node untuk meningkatkan kualitas pipeline model, semua pengaturan sudah ditentukan untuk bekerja dengan baik.

Komposisi Peta Cahaya dan IC Conditioning

• Node Penyesuaian di Atas (Warna Abu-abu) ada untuk mengontrol Conditioning dari IC-Light Conditioning, untuk membuatnya kurang kontras dan mengontrol kecerahan.
• Generate New background: Saat Dinonaktifkan, itu akan menggunakan input gambar asli dan mencoba memetakan detail yang mirip dengan latar belakang video sumber sesuai dengan “Background Prompts” jika ada di kotak positive prompt

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Saat Generate New background Diaktifkan: Itu akan menghasilkan latar belakang baru dengan mempertimbangkan kedalaman

[1girl, sunlight, sunset, nature in the background, sky]

Juga Strength dan End Percent Depth ControlNet dikurangi menjadi 45 % untuk memiliki Area Terbuka di latar belakang.

• Light Map on Top: Saat True, peta cahaya akan berada di atas video Sumber dan lebih dominan, Saat False Sumber akan berada di atas, lebih dominan dan Lebih Cerah
• Subject Affecting Area: 2 mode Blending bekerja paling baik
  • Multiply: Ini akan membuat area bayangan lebih gelap sesuai dengan peta cahaya di atas atau bawah
  • Screen: Ini akan mencerahkan area bayangan sesuai dengan peta cahaya di atas atau bawah
  • Blend Factor adalah untuk intensitas.

• Penyesuaian Keseluruhan: Ini akan mengontrol kecerahan, kontras, gamma, tint dari Peta Cahaya Terproses Akhir dari atas.
• Image Remap: Gunakan node ini untuk mengontrol kecerahan global keseluruhan dan Kegelapan seluruh gambar.
  • Nilai min yang lebih tinggi akan mencerahkan adegan
  • Nilai Max yang lebih rendah akan membuat Adegan Lebih Gelap dan dapat mengubah area yang lebih cerah menjadi objek yang berubah bentuk seperti QrCode Monster CN
  • Gunakan sebagian besar nilai Min ke 0,1 atau 0,2 untuk sedikit mencerahkan adegan.
  • Nilai Min 0 akan memiliki bayangan hitam pekat untuk piksel hitam dari peta cahaya.

KSamplers (Raw dan Refine)

IC Raw Ksampler: Tidak seperti sampler lainnya, ini dimulai pada langkah 8 bukan nol, karena Kondisi IC-Light (Frame dihilangkan noise dari Langkah 8)

• Misalnya, langkah Akhir 20
• Langkah Mulai pada
  • 0 tidak akan memiliki efek peta cahaya.
  • 5 akan memiliki efek 50 persen
  • 10 akan memiliki efek 100 persen.
  • Jadi, sekitar 3-8 adalah nilai yang baik untuk diuji.

Saat Generate New Background adalah TRUE, Anda bisa pergi di bawah 5 untuk Hasil yang Lebih Baik

• Ksampler Refine: Ini bekerja seperti Refiner Img2Img Setelah IC raw sampler.

Untuk langkah Akhir 25

• Langkah Mulai pada
  • 10 dan di bawahnya akan bekerja seperti raw sampler dan akan memberi Anda objek yang berubah bentuk
  • 15 akan bekerja seperti refiner yang tepat
  • 20 tidak akan bekerja dengan baik
  • Di atas 20 dan di atasnya akan menghasilkan hasil yang berantakan
  • Jadi, Default 16 adalah baik.

Face Fix

• Upscale For Face Fix: Jika Wajah Anda tidak memuaskan setelah perbaikan wajah, Anda dapat meningkatkan skalanya menjadi sekitar 1,2 hingga 1,6 untuk mendapatkan wajah yang lebih baik.
• Positive Prompt: Di sini Anda dapat menulis prompt untuk wajah. Diatur ke “smiling” secara default. Anda dapat mengubahnya.
• Face Denoise: Gunakan Sekitar, 0,35 – 0,45. Pada nilai yang lebih tinggi wajah mungkin dirender secara tidak benar dan juga masalah sliding faces mungkin muncul.

Saving

• Video Combine: Ini akan mengekspor semua frame dalam format video. Jika node ini gagal saat menggabungkan itu berarti ada terlalu banyak frame, dan itu kehabisan ram. Kurangi frames load cap jika ini terjadi
  • Ini akan disimpan di ComfyUI > Outputs secara default.
• Change Output Path: Buka mute node ini, jika Anda ingin menyimpan output ke lokasi penyimpanan khusus

Tentang penulis workflow ini

Jerry Davos

• YouTube Channel: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Kontak

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ