Vid2Vid Part 1 | การจัดองค์ประกอบและการทำหน้ากาก

ขั้นตอนการทำงานของ ComfyUI Vid2Vid ซึ่งสร้างโดย YVANN นำเสนอขั้นตอนการทำงานที่แตกต่างกันสองแบบเพื่อสร้างแอนิเมชันคุณภาพสูงระดับมืออาชีพ

• ขั้นตอนการทำงานแรกของ ComfyUI: ComfyUI Vid2Vid Part 1 | การจัดองค์ประกอบและการทำหน้ากาก
• ขั้นตอนการทำงานที่สอง: ComfyUI Vid2Vid Part 2 | SDXL Style Transfer

ComfyUI Vid2Vid Part 1 | การจัดองค์ประกอบและการทำหน้ากาก

ขั้นตอนการทำงานนี้ช่วยเพิ่มความคิดสร้างสรรค์โดยมุ่งเน้นที่การจัดองค์ประกอบและการทำหน้ากากของวิดีโอต้นฉบับของคุณ

Step 1: Models Loader | ComfyUI Vid2Vid Workflow Part1

เลือกโมเดลที่เหมาะสมสำหรับแอนิเมชันของคุณ ซึ่งรวมถึงการเลือกโมเดล checkpoint, โมเดล VAE (Variational Autoencoder) และโมเดล LoRA (Low-Rank Adaptation) โมเดลเหล่านี้มีความสำคัญในการกำหนดความสามารถและสไตล์ของแอนิเมชันของคุณ

Step 2: Video Loader | ComfyUI Vid2Vid Workflow Part1

โหนด Input Video มีหน้าที่นำเข้าวิดีโอไฟล์ที่จะใช้ในการสร้างแอนิเมชัน โหนดนี้จะอ่านวิดีโอและแปลงเป็นเฟรมแต่ละเฟรม ซึ่งจะถูกประมวลผลในขั้นตอนถัดไป ทำให้สามารถแก้ไขและเพิ่มรายละเอียดเฟรมต่อเฟรมได้

Step 3: Remove Background (Auto Masking) | ComfyUI Vid2Vid Workflow Part1

Remove Background (Auto Masking) แยกวัตถุจากพื้นหลังโดยใช้เทคนิคการทำหน้ากากอัตโนมัติ ซึ่งรวมถึงการใช้โมเดลที่ตรวจจับและแยกวัตถุหลักออกจากพื้นหลังสร้างหน้ากากแบบไบนารี ขั้นตอนนี้มีความสำคัญในการทำให้วัตถุสามารถปรับแต่งได้โดยไม่เกี่ยวข้องกับพื้นหลัง

Step 4: Masking Specific Area (Manual Mask or Auto Mask) | ComfyUI Vid2Vid Workflow Part1

ขั้นตอนนี้ช่วยในการปรับแต่งหน้ากากที่สร้างขึ้นในขั้นตอนก่อนหน้านี้ คุณสามารถทำหน้ากากในพื้นที่เฉพาะด้วยตนเองโดยใช้ซอฟต์แวร์อื่นหรือใช้คุณลักษณะการทำหน้ากากอัตโนมัติของ ComfyUI 'Segment Anything'

• Manual Mask: ต้องจัดการด้วยซอฟต์แวร์อื่นนอกเหนือจาก ComfyUI เพื่อการควบคุมที่แม่นยำ
• Auto Mask: โดยใช้คุณลักษณะการทำหน้ากากอัตโนมัติ คุณสามารถอธิบายสิ่งที่ต้องการทำหน้ากากโดยใช้คำง่าย ๆ ในวิดเจ็ต prompt โมเดลจะสร้างหน้ากากโดยอัตโนมัติ แม้ว่าอาจไม่แม่นยำเท่าการทำหน้ากากด้วยตนเอง

เวอร์ชันเริ่มต้นใช้หน้ากากด้วยตนเอง หากคุณต้องการลองใช้หน้ากากอัตโนมัติ โปรดข้ามกลุ่มหน้ากากด้วยตนเองและเปิดใช้งานกลุ่มหน้ากากอัตโนมัติ นอกจากนี้ ให้เชื่อมต่อ MASK ของ 'GroundingDinoSAM' (หน้ากากอัตโนมัติ) กับ 'GrowMaskWithBlur' แทนที่จะเชื่อมต่อ 'ImageToMask' (หน้ากากด้วยตนเอง) กับ 'GrowMaskWithBlur'

Step 5: Transform Mask | ComfyUI Vid2Vid Workflow Part1

Transform Mask แปลงหน้ากากเป็นภาพและอนุญาตให้ปรับแต่งเพิ่มเติมเช่นการเพิ่มความเบลอให้กับหน้ากากเดิม ช่วยในการทำให้ขอบนุ่มขึ้นและทำให้หน้ากากผสมผสานอย่างเป็นธรรมชาติกับภาพที่เหลือ

Step 6: Input Prompt | ComfyUI Vid2Vid Workflow Part1

ใส่ prompt ข้อความเพื่อแนะนำกระบวนการแอนิเมชัน prompt สามารถอธิบายสไตล์ ลักษณะ หรือการกระทำของวัตถุได้ มีความสำคัญในการกำหนดทิศทางความคิดสร้างสรรค์ของแอนิเมชัน เพื่อให้ผลลัพธ์สุดท้ายตรงกับสไตล์ศิลปะที่คาดหวัง

Step 7: AnimateDiff | ComfyUI Vid2Vid Workflow Part1

โหนด AnimateDiff สร้างแอนิเมชันที่ราบรื่นโดยการระบุความแตกต่างระหว่างเฟรมต่อเนื่องและนำการเปลี่ยนแปลงเหล่านี้ไปใช้ทีละน้อย ช่วยในการรักษาความสอดคล้องของการเคลื่อนไหวและลดการเปลี่ยนแปลงที่กระทันหันในแอนิเมชัน ทำให้ดูราบรื่นและเป็นธรรมชาติมากขึ้น

Step 8: IPAdapter | ComfyUI Vid2Vid Workflow Part1

โหนด IPAdapter ปรับภาพนำเข้าให้ตรงกับสไตล์หรือคุณลักษณะที่ต้องการ ซึ่งรวมถึงงานเช่นการใส่สีและการถ่ายโอนสไตล์ เพื่อให้แต่ละเฟรมของแอนิเมชันมีลักษณะและความรู้สึกที่สอดคล้องกัน

Step 9: ControlNet | ComfyUI Vid2Vid Workflow Part1

การใช้ ControlNet - v1.1 - Instruct Pix2Pix Version model ช่วยเพิ่มประสิทธิภาพของ diffusion models โดยทำให้สามารถประมวลผลเงื่อนไขนำเข้าที่เพิ่มเติมได้ (เช่น edge maps, segmentation maps) ช่วยในการสร้างภาพจากข้อความโดยการควบคุมโมเดลที่ผ่านการฝึกฝนเหล่านี้ด้วยเงื่อนไขเฉพาะงานในลักษณะ end-to-end ทำให้สามารถเรียนรู้ได้อย่างแม่นยำแม้จะมีชุดข้อมูลที่เล็กลง

Step 10: Render | ComfyUI Vid2Vid Workflow Part1

ในขั้นตอน Render เฟรมที่ประมวลผลจะถูกประกอบเป็นวิดีโอสุดท้าย ขั้นตอนนี้ทำให้เฟรมแต่ละเฟรมรวมกันเป็นแอนิเมชันที่สอดคล้องกัน พร้อมสำหรับการส่งออกและการใช้งานต่อไป

Step 11: Compose Background | ComfyUI Vid2Vid Workflow Part1

นี้เกี่ยวข้องกับการประกอบวัตถุที่เคลื่อนไหวกับพื้นหลัง คุณสามารถเพิ่มพื้นหลังที่เป็นภาพนิ่งหรือภาพเคลื่อนไหวลงในแอนิเมชัน เพื่อให้วัตถุรวมเข้ากับพื้นหลังใหม่ได้อย่างราบรื่น เพื่อสร้างผลิตภัณฑ์สุดท้ายที่มีความน่าสนใจทางสายตา

โดยการใช้ขั้นตอนการทำงานของ ComfyUI Vid2Vid Part1 คุณสามารถสร้างแอนิเมชันที่ซับซ้อนด้วยการควบคุมที่แม่นยำในทุกด้านของกระบวนการ ตั้งแต่การจัดองค์ประกอบและการทำหน้ากากจนถึงการเรนเดอร์สุดท้าย