Animatediff V2 & V3 | Text to Video

1. ComfyUI AnimateDiff Workflow

เวิร์กโฟลว์ของ ComfyUI AnimateDiff นี้ถูกออกแบบมาเพื่อให้ผู้ใช้ได้สำรวจคุณสมบัติที่ซับซ้อนของ AnimateDiff ในเวอร์ชันต่างๆ ได้แก่ AnimateDiff V3, AnimateDiff SDXL, และ AnimateDiff V2 มันช่วยให้คุณสำรวจแอนิเมชันหลากหลายรูปแบบ ผสมผสานทั้งการเคลื่อนไหวและสไตล์ต่างๆ หลังจากสร้างแอนิเมชันด้วย AnimateDiff แล้ว Latent Upscale จะถูกใช้เพื่อให้ได้ผลลัพธ์ความละเอียดสูงโดยใช้สองวิธี วิธีแรกใช้การขยายขนาดแบบ latent แบบดั้งเดิมใน ComfyUI โดยมีการปรับแต่งเช่น denoising strength และ upscale factor วิธีที่สอง Control Net Assisted Latent Upscale ให้การปรับปรุงที่แม่นยำยิ่งขึ้นโดยการรวม line art preprocessor และแบบโมเดล control net ที่เหมาะสม ซึ่งช่วยปรับปรุงงานศิลปะได้อย่างมากในขณะที่ยังคงรักษาแก่นแท้เดิมของมันไว้

2. ภาพรวมของ AnimateDiff

2.1. แนะนำ AnimateDiff

AnimateDiff โผล่ขึ้นมาเป็นกรอบงานที่ก้าวล้ำ ออกแบบมาเพื่อเติมชีวิตให้กับภาพที่สร้างจากโมเดล text-to-image เช่น Stable Diffusion เครื่องมือนี้ช่วยให้ผู้ใช้สามารถผสานการเคลื่อนไหวเข้ากับภาพนิ่งได้อย่างราบรื่น ทำให้ภาพเหล่านั้นกลายเป็นภาพเคลื่อนไหวที่เป็นส่วนตัว กรอบงานนี้ถูกสร้างขึ้นบนพื้นฐานของการเสริมโมเดล text-to-image ที่มีอยู่ด้วยโมดูล motion modeling ที่ได้รับการฝึกฝนจากคลิปวิดีโอเพื่อจับการเคลื่อนไหวที่สมจริง กระบวนการนี้ช่วยขจัดความจำเป็นในการปรับแต่งโมเดลเฉพาะ เสนอทางแก้ไขที่เป็นสากลสำหรับการสร้างภาพเคลื่อนไหวที่เป็นส่วนตัว

2.2. เวอร์ชันต่างๆ ของ AnimateDiff

2.2.1. AnimateDiff V3: ปฏิวัติการเคลื่อนไหวด้วยเทคโนโลยีใหม่ๆ

AnimateDiff V3 แนะนำโมดูลการเคลื่อนไหวที่ก้าวล้ำ ซึ่งรวมเอาความก้าวหน้าล่าสุดในเทคโนโลยีแอนิเมชันไว้ ที่ใจกลางของการพัฒนานี้คือโมดูล Domain Adapter LoRA ซึ่งเป็นกลไกที่เตรียมโมดูลการเคลื่อนไหวโดยการฝึกฝนจากเฟรมวิดีโอแบบนิ่ง การตั้งค่านี้ทำให้ AnimateDiff สามารถรับมือกับความซับซ้อนของการเคลื่อนไหวได้อย่างชำนาญ ทำให้แอนิเมชันมีความละเอียดอ่อนและยืดหยุ่น แตกต่างจากเวอร์ชันก่อนหน้า V3 ไม่ได้เกินกว่า V2 ในทุกมิติ แต่แนะนำความสามารถในการเคลื่อนไหวที่หลากหลาย เพิ่มเติมเครื่องมือสร้างสรรค์ของผู้ใช้

2.2.2. AnimateDiff SDXL: แอนิเมชันวิดีโอความละเอียดสูง

สำหรับผู้ที่ชื่นชอบภาพความละเอียดสูง AnimateDiff SDXL นำเสนอตัวเลือกที่น่าสนใจ เวอร์ชัน Beta นี้รองรับการสร้างวิดีโอความละเอียดสูง (ความละเอียด 1024x1024 พร้อม 16 เฟรม) รองรับอัตราส่วนภาพต่างๆ ทั้งที่มีหรือไม่มีโมเดลที่เป็นส่วนตัว แม้จะยังอยู่ในเวอร์ชัน Beta แต่ SDXL สัญญาว่าจะยกระดับคุณภาพของเนื้อหาที่เคลื่อนไหว โดยมีเวอร์ชันที่ปรับปรุงมากขึ้นคาดว่าจะออกมาในไม่ช้า

2.2.3. AnimateDiff V2: การเคลื่อนไหวคลาสสิกและการควบคุมการเคลื่อนกล้อง

AnimateDiff V2 ยืนเป็นเวอร์ชันพื้นฐานที่ปรับปรุงคุณภาพตัวอย่างอย่างมากผ่านการฝึกอบรมความละเอียดและขนาดแบตช์ที่ดีขึ้น มันแนะนำ MotionLoRA ที่ช่วยให้สามารถควบคุมการเคลื่อนไหวของกล้องพื้นฐานแปดแบบ ได้แก่ Zoom In/Out, Pan Left/Right, Tilt Up/Down และ Rolling Clockwise/Anticlockwise เวอร์ชันนี้เหมาะสำหรับผู้ใช้ที่ต้องการผสมผสานการเคลื่อนกล้องแบบไดนามิกเข้ากับแอนิเมชันของพวกเขา โดยเสนอชุดเครื่องมือที่แข็งแกร่งสำหรับการสร้างเรื่องราวภาพที่น่าทึ่ง