AnimateLCM | เร่งความเร็วการสร้างภาพเคลื่อนไหวจากข้อความเป็นวิดีโอ

1. ComfyUI AnimateLCM Workflow

ComfyUI AnimateLCM Workflow ถูกออกแบบมาเพื่อเพิ่มความเร็วในการสร้างภาพเคลื่อนไหวด้วย AI โดยพัฒนาขึ้นจากพื้นฐานของ ComfyUI-AnimateDiff-Evolved เวิร์กโฟลว์นี้รวม AnimateLCM เพื่อเร่งกระบวนการสร้างภาพเคลื่อนไหวจากข้อความ (t2v) คุณสามารถทดลองใช้คำสั่งและขั้นตอนต่าง ๆ เพื่อให้ได้ผลลัพธ์ที่ต้องการ

2. ภาพรวมของ AnimateLCM

การมาของเทคโนโลยีอย่าง SDXL, LCM และ SDXL Turbo ได้เพิ่มความเร็วในการสร้างภาพอย่างมาก AnimateLCM ยิ่งส่งเสริมความก้าวหน้าใน AI animation มันรองรับการสร้างภาพเคลื่อนไหวจากภาพนิ่งหรือคำอธิบายข้อความได้อย่างรวดเร็วและมีประสิทธิภาพ ทำให้เป็นประโยชน์อย่างยิ่งในการสร้างเอฟเฟกต์ภาพเคลื่อนไหวส่วนบุคคลอย่างรวดเร็ว

2.1. แนะนำ AnimateLCM

AnimateLCM ถูกออกแบบมาเพื่อเร่งการสร้างภาพเคลื่อนไหวของโมเดล diffusion และ adapters ส่วนบุคคลผ่านการเรียนรู้ความสอดคล้องที่แยกออกมา มันได้รับแรงบันดาลใจจาก Consistency Model (CM) ที่สกัดโมเดล diffusion ภาพที่ผ่านการฝึกเพื่อเร่งกระบวนการสุ่มตัวอย่าง และการขยายของมัน Latent Consistency Model (LCM) ที่เน้นการสร้างภาพตามเงื่อนไข AnimateLCM ใช้พื้นฐานเหล่านี้เพื่อสร้างวิดีโอที่มีคุณภาพสูงในไม่กี่ขั้นตอน โดยสร้างจากความสำเร็จของเทคนิคการ diffusion และการสร้างภาพเพื่อขยายความสามารถของพวกเขาเข้าสู่โดเมนวิดีโอ

2.2. วิธีใช้ AnimateLCM ในเวิร์กโฟลว์ ComfyUI ของคุณ

เวิร์กโฟลว์นี้พัฒนาขึ้นจาก ComfyUI-AnimateDiff-Evolved เวิร์กโฟลว์ ต่อไปนี้เป็นการตั้งค่าพารามิเตอร์ในโหนด "Use Evolved Sampling"

Models: ตั้งค่าโมเดล checkpoint และโมเดล LoRA

• Checkpoint: นี่คือการป้อนข้อมูลโมเดล StableDiffusion (SD) ที่ใช้ในการสร้างภาพเคลื่อนไหว ขึ้นอยู่กับโมเดลการเคลื่อนไหวที่เลือก ความเข้ากันได้อาจแตกต่างกันไปในแต่ละเวอร์ชันของ SD เช่น SD1.5 หรือ SDXL
• LoRA: การรวม AnimateLCM LoRA model เพื่อรวม adapters ที่มีอยู่สำหรับฟังก์ชันต่าง ๆ เพิ่มประสิทธิภาพและคุณภาพของผลลัพธ์โดยเน้นการเรียนรู้ความสอดคล้องโดยไม่ลดความเร็วในการสุ่มตัวอย่าง

Motion Models (M Models): เหล่านี้คือผลลัพธ์จากกระบวนการ Apply AnimateDiff Model ทำให้สามารถใช้ AnimateLCM Motion Model ได้

Context Options: การตั้งค่าเหล่านี้ปรับการทำงานของ AnimateDiff ในระหว่างการผลิตภาพเคลื่อนไหว ทำให้สามารถสร้างภาพเคลื่อนไหวได้ยาวนานเท่าใดก็ได้ผ่านการเลื่อนหน้าต่างบริบททั่ว Unet หรือเฉพาะในโมดูลการเคลื่อนไหว นอกจากนี้ยังสามารถปรับเวลาในการสร้างภาพเคลื่อนไหวที่ซับซ้อนได้ อ้างถึงที่นี่สำหรับ คู่มือที่ครอบคลุมเกี่ยวกับ AnimateDiff

Beta Schedule in Sample Settings: เลือก LCM ในการตั้งค่าตัวอย่างของ AnimateDiff ใน ComfyUI การเลือก "beta schedule" รวมถึงตัวเลือกต่าง ๆ เช่น "lcm," "lineart," ฯลฯ ปรับแต่งค่า beta ที่ควบคุมระดับเสียงรบกวนตลอดกระบวนการ diffusion การปรับแต่งนี้มีผลต่อสไตล์ภาพและความลื่นไหลของภาพเคลื่อนไหว การตั้งค่าแต่ละอย่างรองรับความต้องการเฉพาะของโมเดลการเคลื่อนไหวหรือภาพเคลื่อนไหว

• LCM (Latent Consistency Module): การตั้งค่า "lcm" ถูกปรับแต่งสำหรับ LCM LoRAs เพิ่มความสม่ำเสมอของภาพเคลื่อนไหวและลดเวลาในการสร้าง บรรลุการบรรจบที่เร็วขึ้นด้วยขั้นตอนที่น้อยลง ต้องลดขั้นตอน (จนถึงขั้นต่ำประมาณ 4 ขั้นตอน) และการปรับพารามิเตอร์อื่น ๆ เพื่อรักษารายละเอียดที่ดีที่สุด
• Linear (AnimateDiff-SDXL): แนะนำสำหรับ AnimateDiff กับโมดูลการเคลื่อนไหว SDXL ตัวเลือกนี้สร้างสมดุลระหว่างการรักษารายละเอียดและการเคลื่อนไหวที่ลื่นไหล แสดงถึงความเข้ากันได้กับเวอร์ชันโมเดลการเคลื่อนไหวเฉพาะ
• Sqrt_lineart (AnimateDiff): คล้ายกับ "lineart" ตัวแปรนี้ถูกออกแบบมาสำหรับกระบวนการ AnimateDiff โดยเฉพาะกับโมดูลการเคลื่อนไหว V2 ปรับระดับเสียงรบกวนให้เหมาะสมกับผลลัพธ์ของโมเดลการเคลื่อนไหวเพื่อการเปลี่ยนภาพหรือการเคลื่อนไหวที่ลื่นไหลมากขึ้น