IC-Light | Penerangan Ulang Gambar

1. Apa itu IC-Light?

IC-Light adalah alat pengeditan gambar berbasis AI yang terintegrasi dengan model Stable Diffusion untuk melakukan pengeditan lokal pada gambar yang dihasilkan. Ini bekerja dengan mengkodekan gambar ke dalam representasi ruang laten, menerapkan pengeditan ke area tertentu, dan kemudian mendekode representasi laten yang dimodifikasi kembali menjadi gambar. Pendekatan ini memungkinkan kontrol yang tepat atas proses pengeditan sambil mempertahankan gaya dan koherensi keseluruhan dari gambar asli.

Sekarang ada dua model yang dirilis: model penerangan ulang yang dikondisikan oleh teks dan model yang dikondisikan oleh latar belakang. Kedua jenis ini mengambil gambar latar depan sebagai input.

2. Bagaimana IC-Light Bekerja

Di balik layar, IC-Light memanfaatkan kekuatan model Stable Diffusion untuk mengkodekan dan mendekode gambar. Prosesnya dapat diuraikan menjadi langkah-langkah berikut:

2.1. Pengkodean: Gambar input dilewatkan melalui Stable Diffusion VAE (Variational Autoencoder) untuk mendapatkan representasi ruang laten yang terkompresi. 2.2. Pengeditan: Pengeditan yang diinginkan diterapkan ke area tertentu dari representasi laten. Ini biasanya dilakukan dengan menggabungkan laten asli dengan masker yang menunjukkan area yang akan dimodifikasi, bersama dengan petunjuk pengeditan yang sesuai. 2.3. Dekoding: Representasi laten yang dimodifikasi dilewatkan melalui dekoder Stable Diffusion untuk merekonstruksi gambar yang diedit. Dengan beroperasi di ruang laten, IC-Light dapat membuat pengeditan lokal sambil mempertahankan koherensi dan gaya keseluruhan gambar.

3. Cara Menggunakan ComfyUI IC-Light

Node utama yang akan Anda gunakan adalah node "IC-Light Apply", yang menangani seluruh proses pengkodean, pengeditan, dan dekoding gambar Anda.

3.1. Parameter Input "IC-Light Apply":

Node "IC-Light Apply" membutuhkan tiga input utama:

• model: Ini adalah model Stable Diffusion dasar yang akan digunakan untuk mengkodekan dan mendekode gambar Anda.
• ic_model: Ini adalah model IC-Light yang sudah dilatih sebelumnya yang berisi bobot yang diperlukan untuk proses pengeditan.
• c_concat: Ini adalah input khusus yang menggabungkan gambar asli Anda, masker yang menunjukkan area yang akan diedit, dan petunjuk pengeditan yang menentukan bagaimana area tersebut harus dimodifikasi.

Untuk membuat input c_concat:

1. Gunakan node VAEEncodeArgMax untuk mengkodekan gambar asli Anda. Node ini memastikan bahwa representasi laten gambar Anda yang paling mungkin diperoleh.
2. Gunakan node ICLightApplyMaskGrey untuk membuat versi gambar Anda yang dimasker. Node ini mengambil gambar asli Anda dan masker sebagai input, dan mengeluarkan versi gambar di mana area yang tidak dimasker diubah menjadi abu-abu.
3. Buat representasi laten dari petunjuk pengeditan Anda. Petunjuk ini akan membimbing modifikasi yang dilakukan pada area yang dipilih dari gambar Anda.
4. Gabungkan representasi laten dari gambar asli Anda, masker, dan petunjuk pengeditan menjadi satu input untuk node "IC-Light Apply".

3.2. Parameter Output "IC-Light Apply":

Setelah memproses input Anda, node "IC-Light Apply" akan menghasilkan satu parameter:

• model: Ini adalah model Stable Diffusion yang telah diperbaiki dengan modifikasi IC-Light.

Untuk menghasilkan gambar yang telah diedit akhir Anda, cukup hubungkan model output ke node yang sesuai dalam alur kerja ComfyUI Anda, seperti node KSampler dan VAEDecode.

3.3. Tips untuk Hasil Terbaik:

1. Gunakan masker berkualitas tinggi: Untuk memastikan bahwa pengeditan Anda tepat dan efektif, pastikan bahwa masker Anda secara akurat menggambarkan area yang ingin Anda modifikasi.
2. Bereksperimen dengan petunjuk pengeditan yang berbeda: Petunjuk pengeditan adalah yang membimbing modifikasi yang dilakukan pada area yang dipilih dari gambar Anda. Jangan ragu untuk mencoba petunjuk yang berbeda untuk mencapai efek yang diinginkan, dan jangan ragu untuk menyempurnakan petunjuk Anda berdasarkan hasil yang Anda dapatkan.
3. Seimbangkan pengeditan global dan lokal: Meskipun IC-Light sangat baik untuk membuat pengeditan lokal, penting untuk mempertimbangkan komposisi keseluruhan dan koherensi gambar Anda. Cobalah untuk menemukan keseimbangan antara pengeditan terfokus dan penyesuaian global untuk mempertahankan integritas karya seni yang dihasilkan.

Untuk informasi lebih lanjut, silakan kunjungi github