IDM-VTON | การลองเสื้อผ้าเสมือนจริง

IDM-VTON ย่อมาจาก "Improving Diffusion Models for Authentic Virtual Try-on in the Wild" เป็นโมเดล diffusion ที่นวัตกรรมซึ่งช่วยให้คุณลองเสื้อผ้าเสมือนจริงได้อย่างสมจริงโดยใช้อินพุตเพียงไม่กี่อย่าง สิ่งที่ทำให้ IDM-VTON โดดเด่นคือความสามารถในการรักษารายละเอียดและลักษณะเฉพาะของเสื้อผ้าในขณะที่สร้างผลลัพธ์การลองเสมือนที่ดูสมจริงอย่างเหลือเชื่อ

1. ทำความเข้าใจกับ IDM-VTON

ที่แกนกลาง IDM-VTON เป็นโมเดล diffusion ที่ได้รับการออกแบบมาโดยเฉพาะสำหรับการลองเสื้อผ้าเสมือนจริง ในการใช้งาน คุณเพียงแค่ต้องมีการแสดงภาพของบุคคลและเสื้อผ้าที่คุณต้องการลอง IDM-VTON จะทำงานอย่างมหัศจรรย์โดยสร้างผลลัพธ์ที่ดูเหมือนบุคคลนั้นกำลังสวมเสื้อผ้าอยู่จริง ๆ มันบรรลุระดับของความถูกต้องและความสมจริงของเสื้อผ้าที่เหนือกว่าวิธีการลองเสื้อผ้าเสมือนที่ใช้ diffusion ก่อนหน้านี้

2. การทำงานภายในของ IDM-VTON

แล้ว IDM-VTON ทำการลองเสื้อผ้าเสมือนจริงอย่างสมจริงได้อย่างไร? ความลับอยู่ในโมดูลหลักสองตัวที่ทำงานร่วมกันเพื่อเข้ารหัส semantics ของอินพุตเสื้อผ้า:

1. ตัวแรกคือ image prompt adapter หรือเรียกสั้น ๆ ว่า IP-Adapter ส่วนประกอบอันชาญฉลาดนี้สกัด semantics ระดับสูงของเสื้อผ้า - โดยพื้นฐานแล้วคือคุณลักษณะสำคัญที่กำหนดรูปลักษณ์ของมัน จากนั้นจะผสานข้อมูลนี้เข้าสู่เลเยอร์ cross-attention ของโมเดล diffusion UNet หลัก
2. โมดูลที่สองคือ parallel UNet ที่เรียกว่า GarmentNet หน้าที่ของมันคือการเข้ารหัสคุณสมบัติระดับต่ำของเสื้อผ้า - รายละเอียดที่ทำให้มันไม่ซ้ำใคร คุณสมบัติเหล่านี้จะถูกผสานเข้าสู่เลเยอร์ self-attention ของ UNet หลัก

แต่ยังไม่หมด! IDM-VTON ยังใช้ textual prompts ที่ละเอียดสำหรับทั้งอินพุตของเสื้อผ้าและบุคคลเพื่อให้บริบทเพิ่มเติมที่เสริมความสมจริงของผลลัพธ์การลองเสมือนจริงสุดท้าย

3. การใช้งาน IDM-VTON ใน ComfyUI

3.1 ดาวเด่นของการแสดง: โหนด IDM-VTON

ใน ComfyUI โหนด "IDM-VTON" เป็นพลังงานที่รันโมเดล diffusion IDM-VTON และสร้างผลลัพธ์การลองเสมือนจริง

เพื่อให้โหนด IDM-VTON ทำงานได้อย่างมหัศจรรย์ มันต้องการอินพุตสำคัญบางอย่าง:

1. Pipeline: นี่คือ pipeline diffusion IDM-VTON ที่โหลดแล้วซึ่งเป็นพลังงานทั้งหมดของกระบวนการลองเสมือนจริง
2. Human Input: ภาพของบุคคลที่จะแต่งตัวเสมือนจริง
3. Pose Input: การแสดงท่าทางที่ผ่านการประมวลผลล่วงหน้าของ DensePose ของ Human Input ซึ่งช่วยให้ IDM-VTON เข้าใจท่าทางและรูปร่างของบุคคล
4. Mask Input: หน้ากากสองค่า (binary) ที่แสดงว่าส่วนไหนของ Human Input เป็นเสื้อผ้า หน้ากากนี้ต้องถูกแปลงเป็นรูปแบบที่เหมาะสม
5. Garment Input: ภาพของเสื้อผ้าที่จะลองเสมือนจริง

3.2 การเตรียมทุกอย่างให้พร้อม

ในการทำให้โหนด IDM-VTON ทำงานได้ มีขั้นตอนการเตรียมบางอย่าง:

1. การโหลดภาพบุคคล: ใช้ LoadImage node เพื่อโหลดภาพของบุคคล
2. การสร้างภาพท่าทาง: ภาพบุคคลจะถูกส่งผ่าน DensePosePreprocessor node ซึ่งคำนวณการแสดง DensePose ที่ IDM-VTON ต้องการ
3. การรับภาพหน้ากาก: มีสองวิธีในการรับหน้ากากเสื้อผ้า:

a. การทำหน้ากากด้วยตนเอง (แนะนำ)

• คลิกขวาที่ภาพบุคคลที่โหลดแล้วและเลือก "Open in Mask Editor"
• ใน UI ของ mask editor ทำการหน้ากากส่วนเสื้อผ้าด้วยตนเอง

b. การทำหน้ากากอัตโนมัติ

• ใช้ GroundingDinoSAMSegment node เพื่อแยกเสื้อผ้าออกโดยอัตโนมัติ
• ให้ node ด้วยข้อความบรรยายของเสื้อผ้า (เช่น "t-shirt")

ไม่ว่าคุณจะเลือกวิธีไหน หน้ากากที่ได้รับต้องถูกแปลงเป็นภาพโดยใช้ MaskToImage node ซึ่งจะเชื่อมต่อกับ "Mask Image" input ของโหนด IDM-VTON

4. การโหลดภาพเสื้อผ้า: ใช้เพื่อโหลดภาพของเสื้อผ้า

สำหรับการสำรวจเชิงลึกเกี่ยวกับโมเดล IDM-VTON อย่าพลาดอ่านเอกสารต้นฉบับ "" และหากคุณสนใจใช้งาน IDM-VTON ใน ComfyUI อย่าลืมตรวจสอบโหนดเฉพาะที่ ขอบคุณอย่างยิ่งกับนักวิจัยและนักพัฒนาที่อยู่เบื้องหลังทรัพยากรที่น่าทึ่งเหล่านี้