ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer เป็น workflow ที่ทรงพลังของ ComfyUI Vid2Vid ที่ช่วยให้ผู้ใช้สามารถสไตลิสต์และเปลี่ยนวิดีโอจริงให้เป็นวัตถุหรือองค์ประกอบต่างๆ ได้ ด้วย workflow นี้ คุณสามารถสร้างแอนิเมชันวิดีโอที่น่าทึ่งโดยการถ่ายโอนการเคลื่อนไหวและสไตล์ของวิดีโอต้นฉบับไปยังภาพหรือวัตถุเป้าหมาย บทเรียนนี้จะแนะนำคุณผ่านส่วนประกอบและการตั้งค่าที่สำคัญเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด

เครดิต

ขอบคุณ MDMZ และ DP สำหรับการมีส่วนร่วมที่ยอดเยี่ยมในการสร้าง workflow นี้! MDMZ ได้แชร์ ComfyUI Vid2Vid Dance Transfer Workflow ของเขาผ่านบทเรียน YouTube ซึ่งสร้างขึ้นจาก workflow ดั้งเดิมของ DP

1. ComfyUI Vid2Vid Dance Transfer Workflow ทำอะไร?

ComfyUI Vid2Vid Dance Transfer workflow ช่วยให้คุณนำวิดีโอจริงมาเปลี่ยนเป็นแอนิเมชันสไตลิสต์ได้ มันถ่ายโอนการเคลื่อนไหวและการเต้นจากวิดีโอต้นฉบับไปยังภาพหรือวัตถุเป้าหมายที่คุณเลือก

2. ส่วนประกอบสำคัญของ ComfyUI Vid2Vid Workflow

2.1 อัปโหลดวิดีโอและสร้างหน้ากาก

• ComfyUI Vid2Vid workflow เริ่มต้นด้วยส่วนประกอบ VHS_LoadVideo ซึ่งคุณจะอัปโหลดวิดีโอต้นฉบับที่มีการเต้นที่คุณต้องการถ่ายโอน
• ส่วนประกอบ LayerMask: RemBgUltra ใช้ในการลบพื้นหลังจากเฟรมวิดีโอและสร้างหน้ากากขาวดำของตัวแบบ หน้ากากนี้มีความสำคัญในการระบุและถ่ายโอนการเคลื่อนไหวอย่างถูกต้อง
• ส่วนประกอบ ImageToMask และ MaskToImage แปลงระหว่างรูปภาพและรูปแบบหน้ากากตามที่ต้องการใน ComfyUI Vid2Vid workflow
• 🌟 เคล็ดลับสำคัญ: แพลตฟอร์ม RunComfy มีการโหลดล่วงหน้า "RemBgultra model" ที่จำเป็นสำหรับ "Layer Style" node หากคุณได้ติดตั้ง "Layer Style" nodes เอง โปรดลบไฟล์ "Layer Style" จากเบราว์เซอร์ไฟล์ส่วนตัวของคุณเพื่อหลีกเลี่ยงความขัดแย้ง เมื่อคุณลบไฟล์ "Layer Style" ของคุณแล้ว workflow จะใช้การโหลดล่วงหน้าของ RunComfy และทำงานได้อย่างราบรื่น

2.2 การตั้งค่าภาพเป้าหมายด้วย IPAdapter

• ส่วนประกอบ IPAdapterAdvanced ใช้ในการโหลดและตั้งค่าภาพหรือวัตถุเป้าหมายที่จะได้รับการถ่ายโอนการเต้นของ ComfyUI Vid2Vid คุณสามารถอัปโหลดภาพเป้าหมายโดยใช้ LoadImage node และอัปโหลดภาพพื้นหลังเป้าหมายโดยใช้ LoadBgImage node
• ส่วนประกอบ IPAdapterUnifiedLoader ใช้ในการโหลด IPAdapter ซึ่งกำหนดความแรงของอิทธิพลของภาพเป้าหมายต่อผลลัพธ์

2.3 การใช้ AnimateDiff สำหรับการถ่ายโอนการเคลื่อนไหว

• หัวใจหลักของการถ่ายโอนการเต้นของ ComfyUI Vid2Vid ขับเคลื่อนโดย AnimateDiff Latent Condition Model (LCM) ซึ่งโหลดโดยใช้ส่วนประกอบ ADE_LoadAnimateDiffModel ใน ComfyUI Vid2Vid
• ส่วนประกอบเพิ่มเติมเช่น ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions และ ADE_ApplyAnimateDiffModelSimple ใช้ในการตั้งค่าการสุ่มตัวอย่าง, ตัวเลือกบริบท, และใช้โมเดล AnimateDiff ตามลำดับใน ComfyUI Vid2Vid
• ส่วนประกอบ ADE_UseEvolvedSampling ใช้ในการเลือกวิธีการสุ่มตัวอย่างที่เหมาะสมสำหรับโมเดล AnimateDiff ใน ComfyUI Vid2Vid

2.4 การแนะนำผลลัพธ์ด้วย ControlNet

• ControlNet ใช้ในการแนะนำและกำหนดรูปร่างและเค้าโครงของตัวแบบในแอนิเมชันผลลัพธ์
• ส่วนประกอบ ControlNetLoaderAdvanced ใช้ในการโหลดโมเดล ControlNet workflow นี้ใช้โมเดล ControlNet สองตัว: QR Code Monster และ Lineart
• ส่วนประกอบ ControlNet Stacker ใช้ในการซ้อนและรวมผลลัพธ์ของ ControlNet ด้วยความแรงที่ปรับได้ใน ComfyUI Vid2Vid Transfer

2.5 การสร้างเฟรมผลลัพธ์ด้วย KSampler

• ส่วนประกอบ KSampler (Efficient) ใน ComfyUI Vid2Vid รับผิดชอบในการสร้างเฟรมผลลัพธ์ตามการกำหนดค่าและอินพุตทั้งหมดที่ให้มา
• ส่วนประกอบ KSampler หลักประมวลผลเฟรมวิดีโอเพื่อสร้างการแสดงตัวอย่างแอนิเมชัน มันใช้โมเดล AnimateDiff, ผลลัพธ์ IPAdapter, การซ้อน ControlNet และการตั้งค่าอื่น ๆ เป็นอินพุต
• ส่วนประกอบ KSampler ที่สองใช้ในการเพิ่มขนาดและลดสัญญาณรบกวนของเฟรมผลลัพธ์ ComfyUI Vid2Vid

2.6 การเพิ่มขนาดถ้าจำเป็น

• ส่วนประกอบ ImageScaleBy ใช้ในการเพิ่มขนาดความละเอียดของเฟรมผลลัพธ์ ส่วนประกอบ ImageUpscaleWithModel ใช้ในการเพิ่มขนาดเฟรมเพิ่มเติมโดยใช้โมเดลเพิ่มขนาดที่เลือก workflow เริ่มต้นด้วยการปิดการใช้งานส่วนประกอบเพิ่มขนาด หากคุณต้องการให้เปิดใช้งานส่วนประกอบเหล่านี้เพื่อให้ได้ผลลัพธ์ที่ดีกว่า