Z-Depth Maps | แอนิเมชันแบบ Houdini

คุณเคยต้องการสร้างแอนิเมชันที่น่าทึ่งแบบ Houdini แต่รู้สึกกลัวความซับซ้อนของซอฟต์แวร์ 3D หรือไม่? ไม่ต้องหาต่อไป! การทำงานกับ ComfyUI ที่เป็นนวัตกรรมใหม่นี้จะนำคุณผ่านกระบวนการของการใช้การปรับลึก (Z-Depth) และสร้างแอนิเมชันที่น่าดึงดูดโดยใช้ภาพ 2D เท่านั้น

ไม่ว่าคุณจะเป็นศิลปิน นักออกแบบ หรือผู้ที่หลงใหล คุณจะสามารถสร้างแอนิเมชันที่ดูและรู้สึกเหมือนสร้างด้วยเทคนิค 3D ขั้นสูงได้ ทั้งหมดนี้ทำได้ง่ายๆ โดยใช้ภาพ 2D ใน ComfyUI

ขั้นตอนที่ 1: การสร้างภาพเริ่มต้น

ในการเริ่มต้น คุณจะต้องสร้างภาพเริ่มต้นที่จะเป็นพื้นฐานสำหรับแอนิเมชันของคุณ เมื่อคุณมีภาพของคุณแล้ว ให้ย่อขนาดลงเป็นขนาดเล็ก เช่น 1 เมกะพิกเซล เพื่อให้ขนาดไฟล์ไม่ใหญ่เกินไป

ขั้นตอนที่ 2: การสร้างแอนิเมชันหน้ากากจากภาพเดียว

ในขั้นตอนนี้ คุณจะเปลี่ยนภาพเดียวของคุณให้กลายเป็นแอนิเมชันหน้ากาก เริ่มต้นด้วยการสร้างวิดีโอจากภาพเดียวของคุณโดยการทำซ้ำภาพนั้นเป็นจำนวนเฟรมที่ต้องการ เช่น 32 เฟรม เพื่อตัดสินใจเรื่องของคุณ ให้ลบพื้นหลังโดยใช้โมเดลการลบพื้นหลัง เช่น InSPyR-Net หลังจากลบพื้นหลังแล้ว ให้หดหน้ากากที่ได้ลงเล็กน้อยโดยการลดพิกเซลเล็กน้อยเพื่อให้ทำงานได้ดีกับกระบวนการปรับลึก

ถัดไป ให้ดึงข้อมูลความลึกจากเฟรมเดียวของคุณและเชื่อมต่อกับ control net depth ทำซ้ำภาพความลึกสำหรับจำนวนเฟรมที่เท่ากันกับวิดีโอของคุณ ส่งผ่านเฟรมความลึกที่ทำซ้ำไปยัง Time Feature และ Flex Mask Depth Chamber nodes Time Feature node จะนำทางแอนิเมชันผ่านเวลาโดยมีอัตราเฟรมคงที่ ตั้งเวลาเอฟเฟกต์เป็น "smooth" และเลือกค่าความเร็วต่ำ เช่น 0.1

ฟีเจอร์เวลาจะควบคุมการตัดของเรื่องของคุณตามแกน Z-depth ปรับตำแหน่งเริ่มต้นของ Z-front และ Z-back planes ให้เริ่มการกระทำในช่วงกลางของเรื่องของคุณ เคลื่อนที่ทั้งสอง planes โดยใช้พารามิเตอร์ "feature" ด้วยการเคลื่อนไหว "squeeze" เพื่อสร้างเอฟเฟกต์การตัดที่ต้องการ เพื่อเพิ่มความลื่นไหลของการแพร่กระจายและให้การเปลี่ยนแปลงที่ราบรื่นขึ้น ให้เพิ่มการเบลอเล็กน้อยโดยใช้การตั้งค่า "grow with blur"

เมื่อสิ้นสุดขั้นตอนนี้ คุณจะได้แปลงภาพเดี่ยวของคุณให้กลายเป็นแอนิเมชันหน้ากากที่พร้อมสำหรับกระบวนการปรับลึกและการตัด หน้ากากแอนิเมชันนี้จะเป็นพื้นฐานสำหรับการสร้างเอฟเฟกต์แบบ Houdini ในขั้นตอนถัดไปของการทำงาน

ขั้นตอนที่ 3: การสร้างแอนิเมชัน

ในขั้นตอนนี้ คุณจะนำแอนิเมชันของคุณมาสู่ชีวิตด้วยการสร้างเฟรมโดยใช้แอนิเมชันหน้ากากและข้อมูลความลึกที่เตรียมไว้ เริ่มต้นด้วยการโหลด checkpoint เช่น checkpoint 1.5 สำหรับ AnimateDiff พร้อมกับ LoRAs ที่ต้องการเพื่อเพิ่มคุณภาพและสไตล์ของเฟรมที่สร้างขึ้น

ตั้งค่าขั้นตอนการ conditioning อย่างง่ายด้วย prompt เชิงบวกที่อธิบายส่วนของหน้ากากที่ถูกตัด Prompt นี้จะนำกระบวนการสร้างและช่วยรักษาความสม่ำเสมอตลอดแอนิเมชัน ใช้ ControlNet depth ตามความลึกของเรื่องเดิมของคุณเพื่อให้เฟรมที่สร้างขึ้นรักษาลักษณะความลึกที่ต้องการ

หากคุณมีพื้นที่ขนาดใหญ่ที่ต้องการการ in-painting คุณสามารถเปิดใช้งานกลุ่ม IP Adapter เพื่อจัดการพื้นที่เหล่านั้นอย่างมีประสิทธิภาพมากขึ้น ทำการ inference ด้วย Differential Diffusion และตั้งค่า latent noise mask เข้ารหัส 32 เฟรมของภาพต้นฉบับของคุณและจัดการ latent space ด้วย noise สำหรับแต่ละเฟรม แต่เฉพาะในพื้นที่สีขาวที่สอดคล้องกันที่ถูกตัด

เพื่อเพิ่มความลื่นไหลของแอนิเมชันของคุณ ให้ส่งผ่านเฟรมที่สร้างขึ้นไปยัง RIFE (Real-Time Intermediate Flow Estimation) node เพื่อการแทรกเฟรม กระบวนการนี้จะเพิ่มจำนวนเฟรมเป็นสองเท่า ทำให้วิดีโอของคุณยาวขึ้นและลื่นไหลขึ้น โดยการแทรกเฟรมระหว่างเฟรมที่สร้างขึ้น RIFE ช่วยสร้างแอนิเมชันที่ราบรื่นและน่าดึงดูดมากขึ้น

เมื่อสิ้นสุดขั้นตอนนี้ คุณจะได้สร้างแอนิเมชันครบถ้วนตามภาพต้นฉบับ ข้อมูลความลึก และแอนิเมชันหน้ากาก

ขั้นตอนที่ 4: การผสมผสานแอนิเมชันต่างๆ (ตัวเลือก)

หากคุณต้องการยกระดับแอนิเมชันของคุณ คุณสามารถสร้างแอนิเมชันสองแบบ เช่น ไฟและน้ำแข็ง โดยใช้กระบวนการเดียวกันกับ prompt ที่แตกต่างกันและการปรับความลึกใหม่ แบ่งช่วงภาพออกเป็นห้าส่วน นำ 25% แรกของแอนิเมชันหนึ่งและ 25% ที่เหลือ (75% ถึง 100%) ของแอนิเมชันอื่นเป็นจุดเริ่มต้นและจุดสิ้นสุด ผสมผสานจุดกลาง (25% ถึง 40%, 40% ถึง 60%, 60% ถึง 75%) ของทั้งสองแอนิเมชันเพื่อให้การผสมผสานเริ่มต้นเหมือนแอนิเมชันแรกและค่อยๆ กลายเป็นแอนิเมชันที่สอง