IDM-VTON | Virtuální zkoušení

IDM-VTON, zkratka pro "Improving Diffusion Models for Authentic Virtual Try-on in the Wild," je inovativní difuzní model, který vám umožňuje realisticky zkoušet oděvy virtuálně s použitím jen několika vstupů. Co odlišuje IDM-VTON, je jeho schopnost zachovat jedinečné detaily a identitu oděvů při generování virtuálních výsledků zkoušení, které vypadají neuvěřitelně autenticky.

1. Porozumění IDM-VTON

V jádru je IDM-VTON difuzní model speciálně navržený pro virtuální zkoušení. Pro jeho použití potřebujete pouze reprezentaci osoby a oděv, který chcete zkusit. IDM-VTON pak vykouzlí výsledek, který vypadá, jako by osoba skutečně nosila oděv. Dosahuje úrovně věrnosti a autenticity oděvu, která překonává předchozí metody virtuálního zkoušení založené na difuzi.

2. Vnitřní fungování IDM-VTON

Jak tedy IDM-VTON dosahuje tak realistického virtuálního zkoušení? Tajemství spočívá ve dvou hlavních modulech, které spolupracují na kódování sémantik vstupu oděvu:

1. Prvním je image prompt adapter, zkráceně IP-Adapter. Tato chytrá součást extrahuje vysokou úroveň sémantik oděvu - v podstatě klíčové charakteristiky, které definují jeho vzhled. Tyto informace pak integruje do vrstvy cross-attention hlavního UNet difuzního modelu.
2. Druhým modulem je paralelní UNet nazvaný GarmentNet. Jeho úkolem je kódovat nízkoúrovňové rysy oděvu - drobné detaily, které ho činí jedinečným. Tyto rysy jsou pak integrovány do vrstvy self-attention hlavního UNet.

Ale to není vše! IDM-VTON také využívá podrobných textových promptů pro vstupy oděvu a osoby. Tyto prompty poskytují dodatečný kontext, který zvyšuje autenticitu finálního výsledku virtuálního zkoušení.

3. Využití IDM-VTON v ComfyUI

3.1 Hvězda show: Uzel IDM-VTON

V ComfyUI je "IDM-VTON" uzel silou, která provozuje difuzní model IDM-VTON a generuje výstup virtuálního zkoušení.

Aby uzel IDM-VTON mohl vykouzlit své kouzlo, potřebuje několik klíčových vstupů:

1. Pipeline: Toto je načtená IDM-VTON difuzní pipeline, která pohání celý proces virtuálního zkoušení.
2. Human Input: Obraz osoby, která bude virtuálně zkoušet oděv.
3. Pose Input: Předzpracovaná DensePose reprezentace vstupu osoby, která pomáhá IDM-VTON porozumět póze a tvaru těla osoby.
4. Mask Input: Binární maska, která ukazuje, které části vstupu osoby jsou oblečení. Tato maska musí být převedena do vhodného formátu.
5. Garment Input: Obraz oděvu, který má být virtuálně zkoušen.

3.2 Příprava všeho

Aby byl uzel IDM-VTON připraven, je potřeba několik přípravných kroků:

1. Načítání obrazu osoby: Uzel LoadImage se používá k načtení obrazu osoby.
2. Generování obrazu pózy: Obraz osoby je zpracován uzlem DensePosePreprocessor, který vypočítává DensePose reprezentaci, kterou IDM-VTON potřebuje.
3. Získání obrazové masky: Existují dva způsoby, jak získat masku oblečení:

a. Manuální maskování (Doporučeno)

• Klikněte pravým tlačítkem na načtený obraz osoby a zvolte "Open in Mask Editor."
• V uživatelském rozhraní editoru masky manuálně označte oblasti oblečení.

b. Automatické maskování

• Použijte uzel GroundingDinoSAMSegment k automatické segmentaci oblečení.
• Promptujte uzel textovým popisem oděvu (jako "tričko").

Ať už si vyberete jakoukoliv metodu, získaná maska musí být převedena na obraz pomocí uzlu MaskToImage, který je pak připojen k vstupu "Mask Image" uzlu IDM-VTON.

4. Načítání obrazu oděvu: Používá se k načtení obrazu oděvu.

Pro hlubší pohled do modelu IDM-VTON si nenechte ujít původní článek, "". A pokud máte zájem o použití IDM-VTON v ComfyUI, určitě se podívejte na dedikované uzly . Velké díky výzkumníkům a vývojářům za tyto úžasné zdroje.