Product Relighting Video | Vid2Vid

Gambaran Umum Alur Kerja Product Relighting Video

Alur kerja ini memungkinkan Anda untuk memasukkan video dan satu atau lebih light masks untuk menghasilkan video relighting. Ini mendukung tiga skenario:

1. Subjek bergerak dengan light mask yang bergerak
2. Subjek diam dengan light mask yang bergerak
3. Subjek bergerak dengan light mask yang diam

Meskipun alur kerja video relighting ini eksperimental dan mungkin tidak menghasilkan hasil yang sempurna, ini merupakan langkah signifikan menuju pipeline non-AnimateDiff yang memprioritaskan kesetiaan produk daripada penggabungan frame yang sempurna dalam proses video relighting.

Input dan Variabel untuk Video Relighting

Untuk menjalankan alur kerja dan mencapai efek video relighting yang diinginkan, Anda harus menyediakan input dan variabel berikut:

• Video Sumber: Video input yang akan diterangi ulang
• Jumlah frame: Jumlah total frame yang akan diproses
• Jumlah frame awal yang dilewati: Jumlah frame yang dilewati dari awal video
• Subjek Diam atau Bergerak: Saklar boolean untuk menunjukkan apakah subjek diam atau bergerak
• Ukuran sisi yang lebih panjang (resize): Ukuran yang akan diubah ukurannya berdasarkan sisi yang lebih panjang
• Dua Light Masks: Baik posisi light mask awal dan akhir (untuk light mask yang bergerak) atau light mask yang sama (untuk light mask yang diam)
• Light prompt: Teks prompt yang menggambarkan pencahayaan yang diinginkan
• CFG: Nilai antara 1.05 dan 3 untuk mengontrol kekuatan perubahan pencahayaan (nilai yang lebih tinggi menyebabkan perubahan yang lebih mencolok tetapi kemungkinan artefak yang lebih tinggi)
• Denoise: Nilai antara 0.3 dan 0.6 untuk mengontrol kekuatan denoising (nilai yang lebih tinggi menghasilkan lebih sedikit flickering tetapi mungkin membuat light mask terlihat lebih seperti filter)

Cara Kerja Alur Kerja Video Relighting

1. Alur kerja menggunakan IC-Light untuk menerangi ulang setiap frame secara independen.
2. Untuk setiap frame, latar belakang dihasilkan berdasarkan campuran frame subjek dan frame light mask yang sesuai.
3. Latar belakang dihasilkan pada nilai denoise yang rendah untuk memaksa light mask ke output akhir.
4. Karena IC-Light mungkin kehilangan detail pada denoising rendah, detail dan warna asli ditransfer kembali menggunakan Frequency Separation di akhir alur kerja untuk mempertahankan kualitas video setelah relighting.