IDM-VTON | Sanal Deneme

IDM-VTON, "Doğadaki Otantik Sanal Denemeler için Difüzyon Modellerini İyileştirme"nin kısaltması, sadece birkaç girdi kullanarak giysileri gerçeğe yakın bir şekilde sanal olarak denemenizi sağlayan yenilikçi bir difüzyon modelidir. IDM-VTON'u farklı kılan, giysilerin benzersiz detaylarını ve kimliğini korurken, inanılmaz otantik görünen sanal deneme sonuçları üretmesidir.

1. IDM-VTON'u Anlamak

Temelinde, IDM-VTON sanal deneme için özel olarak tasarlanmış bir difüzyon modelidir. Kullanmak için, sadece bir kişi temsili ve denemek istediğiniz bir giysi gerekir. IDM-VTON ardından sihrini gerçekleştirir ve kişiyi gerçekten giysiyi giymiş gibi gösteren bir sonuç üretir. Giysi sadakati ve otantiklik düzeyi, önceki difüzyon tabanlı sanal deneme yöntemlerini aşmaktadır.

2. IDM-VTON'un İç Çalışmaları

Peki, IDM-VTON nasıl bu kadar gerçekçi sanal deneme yapıyor? Sırrı, giysi girdisinin semantiklerini kodlamak için birlikte çalışan iki ana modülde yatıyor:

1. İlki, görüntü prompt adaptörü, ya da kısaca IP-Adapter'dır. Bu akıllı bileşen, giysinin yüksek seviyeli semantiklerini - esasen görünümünü tanımlayan anahtar özelliklerini - çıkarır. Ardından bu bilgiyi ana UNet difüzyon modelinin çapraz dikkat katmanına entegre eder.
2. İkinci modül, GarmentNet adlı paralel bir UNet'tir. Görevi, giysinin düşük seviyeli özelliklerini - onu benzersiz kılan ayrıntıları - kodlamaktır. Bu özellikler daha sonra ana UNet'in kendi dikkat katmanına entegre edilir.

Ama hepsi bu kadar değil! IDM-VTON ayrıca giysi ve kişi girdileri için detaylı metinsel promptlar kullanır. Bu promptlar, nihai sanal deneme sonucunun otantikliğini artıran ek bağlam sağlar.

3. IDM-VTON'u ComfyUI'de Çalıştırmak

3.1 Gösterinin Yıldızı: IDM-VTON Düğümü

ComfyUI'de, "IDM-VTON" düğümü, IDM-VTON difüzyon modelini çalıştıran ve sanal deneme çıktısını üreten güç merkezidir.

IDM-VTON düğümünün sihrini gerçekleştirmesi için birkaç anahtar girdiye ihtiyacı vardır:

1. Boru Hattı: Tüm sanal deneme sürecini güçlendiren yüklü IDM-VTON difüzyon boru hattıdır.
2. İnsan Girdisi: Giysiyi sanal olarak deneyecek kişinin görüntüsü.
3. Poz Girdisi: IDM-VTON'un kişinin pozunu ve vücut şeklini anlamasına yardımcı olan ön işlenmiş DensePose temsili.
4. Maske Girdisi: İnsan girdisinin hangi kısımlarının giysi olduğunu gösteren ikili maske. Bu maske uygun bir formata dönüştürülmelidir.
5. Giysi Girdisi: Sanal olarak denenmek istenen giysinin görüntüsü.

3.2 Her Şeyi Hazırlamak

IDM-VTON düğümünü çalışır hale getirmek için birkaç hazırlık adımı vardır:

1. İnsan Görüntüsünü Yüklemek: Bir LoadImage düğümü, kişinin görüntüsünü yüklemek için kullanılır.
2. Poz Görüntüsünü Oluşturmak: İnsan görüntüsü, IDM-VTON'un ihtiyaç duyduğu DensePose temsilini hesaplayan bir DensePosePreprocessor düğümünden geçirilir.
3. Maske Görüntüsünü Elde Etmek: Giysi maskesini elde etmenin iki yolu vardır:

a. Manuel Maskeleme (Tavsiye Edilir)

• Yüklenen insan görüntüsüne sağ tıklayın ve "Maske Düzenleyicisinde Aç"ı seçin.
• Maske düzenleyici UI'da giysi bölgelerini manuel olarak maskeleyin.

b. Otomatik Maskeleme

• Giysiyi otomatik olarak segmentlemek için bir GroundingDinoSAMSegment düğümü kullanın.
• Düğümü "t-shirt" gibi giysi metin açıklamasıyla yönlendirin.

Hangi yöntemi seçerseniz seçin, elde edilen maske bir MaskToImage düğümü kullanılarak bir görüntüye dönüştürülmeli ve ardından IDM-VTON düğümünün "Maske Görüntüsü" girdisine bağlanmalıdır.

4. Giysi Görüntüsünü Yüklemek: Giysinin görüntüsünü yüklemek için kullanılır.

IDM-VTON modeline daha derinlemesine bir göz atmak için, orijinal makale ""u kaçırmayın. Ve IDM-VTON'u ComfyUI'de kullanmakla ilgileniyorsanız, özel düğümleri inceleyin. Bu inanılmaz kaynakların arkasındaki araştırmacı ve geliştiricilere büyük teşekkürler.