Blender + ComfyUI | AI Rendering 3D Animations

AI Renderings of 3D Animations: Blender + ComfyUI

กระบวนการทำงานที่นวัตกรรมนี้ พัฒนาโดย Mickmumpitz ที่มีความสามารถในการรวม Blender และ ComfyUI เพื่อสร้างแอนิเมชัน 3D ที่น่าทึ่งด้วยการเรนเดอร์ด้วย AI เราขอแนะนำให้คุณดูช่อง YouTube ของเขาเพื่อรับแรงบันดาลใจเพิ่มเติม

ในส่วนต่อไปนี้ เราใช้วัสดุที่แตกต่างกันเพื่อทำซ้ำวิธีการของเขา นี่คือขั้นตอน:

🌟 ดาวน์โหลดวัสดุ Blender ทั้งหมดของเราสำหรับการทดลองจากลิงก์นี้

Part 1: การใช้ Blender เพื่อสร้างแอนิเมชัน 3D และ Render Passes

1. ตั้งค่า 3D Scene ใน Blender

• เริ่มต้นด้วยการนำเข้าหรือการสร้างโมเดล 3D ที่จำเป็น เช่น ตัวละคร สภาพแวดล้อม และอุปกรณ์ จัดเรียงทรัพย์สินเหล่านี้ภายในฉาก วางตำแหน่งกล้อง และตั้งค่าแอนิเมชันที่ต้องการ ลบวัสดุ พื้นผิว และแสงที่มีอยู่ เนื่องจาก ComfyUI จะสร้างสิ่งเหล่านี้ในระหว่างกระบวนการเรนเดอร์

2. Render Depth Pass

• Depth pass ให้ข้อมูลระยะทางที่จำเป็นเพื่อเพิ่มการรับรู้ความลึก ซึ่งจะถูกใช้ใน ComfyUI
• ใน Blender ไปที่ View Layer Properties เปิดใช้งาน Z pass และเรนเดอร์ภาพ ในแท็บ Compositing เชื่อมต่อ node viewer กับ output depth ปรับ normalize ค่า depth โดยใช้ node Map Range เพื่อสร้างเกรเดียนต์ขาวดำที่แสดงถึงความลึกของฉาก

3. Render Outline Pass

• Outline pass สร้างเส้นขอบที่กำหนดรูปร่างและเงาของวัตถุสำหรับใช้ใน ComfyUI
• ใน Blender ใช้เครื่องมือ Freestyle เพื่อสร้างเส้นขอบตามเรขาคณิต 3D ตั้งค่าสีเป็นสีขาวและปรับความหนาของเส้น เรนเดอร์ภาพและประมวลผลในแท็บ Compositing

4. Render Mask Pass

• Mask pass กำหนดสีเฉพาะให้กับวัตถุต่าง ๆ อย่าลืมจดรหัส Hex ของสีเหล่านี้ เนื่องจากจะใช้สำหรับ AI prompts โดยเฉพาะใน ComfyUI
• ใน Blender กำหนด simple emission shaders ที่มีสีแตกต่างกันให้กับวัตถุแต่ละชิ้น เรนเดอร์ภาพและบันทึก

สำหรับคำแนะนำโดยละเอียดเกี่ยวกับขั้นตอนเหล่านี้ โปรดดูวิดีโอสอนของ Mickmumpitz หากคุณไม่คุ้นเคยกับ Blender

หลังจากเสร็จสิ้นส่วนที่ 1 คุณจะได้สร้าง image sequences สามประเภท: ภาพ mask, ภาพ depth, และภาพ outline ซึ่งจะถูกใช้ในขั้นตอนถัดไปกับ ComfyUI

Part 2: การใช้ ComfyUI เพื่อเรนเดอร์ AI Animations

กระบวนการทำงานของ Mickmumpitz's ComfyUI ประกอบด้วยหลายส่วนสำคัญ:

1. โหลด Image Sequences

• โหลด Mask Sequences: โหลด mask sequence จากนั้นใช้ node "regional conditioning by color mask" เพื่อแยกวัตถุในภาพ mask ป้อนรหัส Hex ที่ได้รับจากขั้นตอนที่ 1 ลงในช่อง "mask_color" node นี้จะทำการแบ่งวัตถุโดยอัตโนมัติตามสีที่กำหนด 🌟 หมายเหตุ: เราใช้รหัส Hex เฉพาะสำหรับวัสดุของเราในกระบวนการนี้ หากคุณใช้ภาพ mask ที่แตกต่างกัน โปรดป้อนรหัส Hex ที่สอดคล้องกันในช่อง "mask_color" เพื่อให้ node "regional conditioning by color mask" แบ่งวัตถุได้อย่างถูกต้อง
• โหลด Depth Sequences: โหลด depth sequences เพื่อให้ข้อมูลเกี่ยวกับระยะทางของวัตถุในฉาก
• โหลด Outline Sequences: โหลด outline sequences เพื่อกำหนดรูปร่างและขอบของวัตถุในฉาก

🌟 วิธีการโหลด Image Sequences โดย Path

จัดระเบียบ Sequences ของคุณ

• วาง mask sequences ไว้ในโฟลเดอร์ เช่น {mask}
• วาง depth sequences ไว้ในโฟลเดอร์แยกต่างหาก เช่น {depth}
• วาง outline sequences ไว้ในโฟลเดอร์อื่น เช่น {outline}

อัปโหลดโฟลเดอร์

• ใช้ file browser ของเราเพื่ออัปโหลดโฟลเดอร์เหล่านี้ไปยังไดเรกทอรี ComfyUI/input

Directory Path

• เส้นทางไดเรกทอรีทั้งหมดควรเป็น: /home/user/ComfyUI/input/{folder_name}
• ตัวอย่างเช่น: /home/user/ComfyUI/input/{mask}

2. ใช้ Text Prompts เพื่อกำหนด Visual Effects

สำหรับ Mask Sequences ใช้ text prompts เพื่อระบุผลภาพที่ต้องการสำหรับวัตถุแต่ละชิ้นในฉาก

• Master Prompt: Prompt นี้กำหนดสไตล์และแสงทั้งหมดสำหรับฉากทั้งหมด มันกำหนดบรรยากาศทั่วไป อารมณ์ และโทนภาพที่การเรนเดอร์สุดท้ายควรบรรลุ
• Regional Prompts: Prompts เหล่านี้ให้รายละเอียดเฉพาะสำหรับวัตถุหรือพื้นที่เฉพาะในฉาก แต่ละ prompt ควรสอดคล้องกับวัตถุหรือพื้นที่ที่แตกต่างกัน เพื่อให้ทุกองค์ประกอบแสดงผลได้อย่างถูกต้องตามที่ตั้งใจไว้
• Negative Prompt: Prompt นี้ระบุองค์ประกอบที่ควรถูกตัดออกจากการเรนเดอร์ มันช่วยป้องกันไม่ให้คุณสมบัติหรือวัตถุบางอย่างปรากฏในผลลัพธ์สุดท้าย เพื่อให้ฉากยังคงโฟกัสและปราศจากรายละเอียดที่ไม่ต้องการ

3. ControlNet Module

• ป้อน depth sequences เข้าไปใน ControlNet Depth model
• ป้อน outline sequences เข้าไปใน ControlNet Canny model

4. AnimateDiff Module

• ใช้โมดูลนี้เพื่อเรนเดอร์แอนิเมชันที่ราบรื่นจาก sequences ที่ประมวลผลแล้ว

5. การใช้ IPAdapter เพิ่มเติม (ถ้ามี)

• ใช้ IPAdapter สำหรับการให้คำแนะนำเพิ่มเติมเพื่อปรับปรุงความสม่ำเสมอและคุณภาพของภาพที่สร้างขึ้น

โดยการใช้ข้อมูล 3D ที่แม่นยำของ Blender ร่วมกับความสามารถในการสังเคราะห์ภาพที่ทรงพลังของ Stable Diffusion ผ่าน ComfyUI คุณสามารถสร้างแอนิเมชัน 3D ที่เหมือนจริงหรือมีสไตล์อย่างไม่น่าเชื่อได้ด้วยการควบคุมสร้างสรรค์อย่างเต็มที่