IDM-VTON | Coba Pakaian Virtual

IDM-VTON, singkatan dari "Improving Diffusion Models for Authentic Virtual Try-on in the Wild," adalah model difusi inovatif yang memungkinkan Anda mencoba pakaian secara virtual secara realistis hanya dengan beberapa input. Yang membedakan IDM-VTON adalah kemampuannya untuk mempertahankan detail dan identitas unik dari pakaian sambil menghasilkan hasil percobaan virtual yang terlihat sangat autentik.

1. Memahami IDM-VTON

Pada intinya, IDM-VTON adalah model difusi yang secara khusus dirancang untuk percobaan virtual. Untuk menggunakannya, Anda hanya memerlukan representasi seseorang dan pakaian yang ingin Anda coba. IDM-VTON kemudian bekerja dengan sihirnya, menghasilkan hasil yang tampak seperti orang tersebut benar-benar mengenakan pakaian tersebut. Ini mencapai tingkat kesetiaan dan keaslian pakaian yang melampaui metode percobaan virtual berbasis difusi sebelumnya.

2. Cara Kerja IDM-VTON

Jadi, bagaimana IDM-VTON bisa melakukan percobaan pakaian virtual yang begitu realistis? Rahasianya terletak pada dua modul utama yang bekerja sama untuk mengenkripsi semantik dari input pakaian:

1. Yang pertama adalah image prompt adapter, atau disingkat IP-Adapter. Komponen cerdas ini mengekstraksi semantik tingkat tinggi dari pakaian - pada dasarnya, karakteristik kunci yang menentukan penampilannya. Informasi ini kemudian dimasukkan ke dalam lapisan cross-attention dari model difusi UNet utama.
2. Modul kedua adalah UNet paralel yang disebut GarmentNet. Tugasnya adalah mengenkripsi fitur tingkat rendah dari pakaian - detail-detail kecil yang membuatnya unik. Fitur-fitur ini kemudian dimasukkan ke dalam lapisan self-attention dari UNet utama.

Tapi itu belum semuanya! IDM-VTON juga menggunakan prompt tekstual yang terperinci untuk input pakaian dan orang. Prompt ini memberikan konteks tambahan yang meningkatkan keaslian hasil percobaan virtual akhir.

3. Menggunakan IDM-VTON di ComfyUI

3.1 Bintang Pertunjukan: Node IDM-VTON

Di ComfyUI, node "IDM-VTON" adalah kekuatan yang menjalankan model difusi IDM-VTON dan menghasilkan output percobaan virtual.

Agar node IDM-VTON bekerja dengan sihirnya, ia memerlukan beberapa input kunci:

1. Pipeline: Ini adalah pipeline difusi IDM-VTON yang dimuat yang menggerakkan seluruh proses percobaan virtual.
2. Human Input: Gambar orang yang akan mencoba pakaian secara virtual.
3. Pose Input: Representasi DensePose yang diproses sebelumnya dari input manusia, yang membantu IDM-VTON memahami pose dan bentuk tubuh orang tersebut.
4. Mask Input: Masker biner yang menunjukkan bagian mana dari input manusia yang merupakan pakaian. Masker ini perlu dikonversi ke format yang sesuai.
5. Garment Input: Gambar pakaian yang akan dicoba secara virtual.

3.2 Mempersiapkan Semuanya

Untuk menjalankan node IDM-VTON, ada beberapa langkah persiapan:

1. Memuat Gambar Manusia: Node LoadImage digunakan untuk memuat gambar orang.
2. Menghasilkan Gambar Pose: Gambar manusia diteruskan melalui node DensePosePreprocessor, yang menghitung representasi DensePose yang dibutuhkan IDM-VTON.
3. Mendapatkan Gambar Masker: Ada dua cara untuk mendapatkan masker pakaian:

a. Masking Manual (Direkomendasikan)

• Klik kanan pada gambar manusia yang dimuat dan pilih "Open in Mask Editor."
• Di UI editor masker, secara manual masker area pakaian.

b. Masking Otomatis

• Gunakan node GroundingDinoSAMSegment untuk secara otomatis memisahkan pakaian.
• Berikan node dengan deskripsi tekstual pakaian (seperti "t-shirt").

Metode mana pun yang Anda pilih, masker yang diperoleh perlu dikonversi menjadi gambar menggunakan node MaskToImage, yang kemudian dihubungkan ke input "Mask Image" dari node IDM-VTON.

4. Memuat Gambar Pakaian: Digunakan untuk memuat gambar pakaian.

Untuk pemahaman lebih dalam tentang model IDM-VTON, jangan lewatkan makalah asli, "". Dan jika Anda tertarik menggunakan IDM-VTON di ComfyUI, pastikan untuk memeriksa node khusus . Terima kasih besar kepada para peneliti dan pengembang di balik sumber daya luar biasa ini.