AnimateDiff ComfyUI Workflow/Tutorial - การสร้างภาพเคลื่อนไหวด้วย Stable Diffusion

สวัสดี! คุณเคยคิดถึงไอเดียการเปลี่ยนข้อความเป็นวิดีโอหรือไม่? นี่ไม่ใช่เรื่องใหม่ แต่กำลังน่าตื่นเต้นมากขึ้นเรื่อยๆ วันนี้เรามาพูดถึงหนึ่งในเครื่องมือที่เจ๋งๆ เหล่านี้ AnimateDiff ในสภาพแวดล้อมของ ComfyUI ไม่ว่าคุณจะเป็นนักศิลปะดิจิทัลหรือแค่รักการสำรวจเทคโนโลยีใหม่ๆ AnimateDiff เสนอวิธีที่น่าตื่นเต้นในการเปลี่ยนไอเดียข้อความของคุณเป็น GIF และวิดีโอที่เคลื่อนไหวได้

เราจะครอบคลุม:

1. AnimateDiff ทำงานอย่างไร?
2. ComfyUI AnimateDiff Workflow - ไม่ต้องติดตั้ง ฟรีทั้งหมด
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: โมดูลการเคลื่อนไหวใหม่ใน Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. การตั้งค่า AnimateDiff: วิธีการใช้ AnimateDiff ใน ComfyUI
   • AnimateDiff Models
   • CheckPoint Models สำหรับ AnimateDiff
   • Beta Schedule
   • Motion Scale
   • Context Batch Size กำหนดความยาวของภาพเคลื่อนไหว
   • Context Length
   • Motion LoRA สำหรับการเคลื่อนไหวของกล้อง (เฉพาะ AnimateDiff v2 เท่านั้น)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Travel / Prompt Scheduling
7. ComfyUI Hires Fix - การเพิ่มคุณภาพภาพเคลื่อนไหวของคุณ
8. พร้อมใช้งาน ComfyUI AnimateDiff Workflow: สำรวจการสร้างภาพเคลื่อนไหวด้วย Stable Diffusion

1. AnimateDiff ทำงานอย่างไร?

แกนหลักของ AnimateDiff คือโมดูลการเคลื่อนไหว คิดว่าเป็นสมองของการดำเนินการ เรียนรู้การเคลื่อนไหวจากคลิปวิดีโอต่างๆ มันเหมือนกับมีครูสอนเต้นที่รู้ทุกการเคลื่อนไหวในหนังสือ โมดูลนี้รวมเข้ากับโมเดลข้อความถึงภาพที่ผ่านการฝึกอบรมล่วงหน้า ดังนั้นคุณไม่ได้จำกัดเฉพาะภาพนิ่งอีกต่อไป – ผลงานของคุณสามารถเต้น, กระโดด, และหมุนได้!

2. ComfyUI AnimateDiff Workflow - ไม่ต้องติดตั้ง ฟรีทั้งหมด

ดูวิดีโอด้านบนที่สร้างขึ้นโดยใช้ ComfyUI AnimateDiff workflow ตอนนี้คุณสามารถดำดิ่งไปใน Animatediff Workflow โดยไม่ต้องติดตั้งใดๆ เราได้เตรียมทุกอย่างไว้ให้คุณใน ComfyUI ที่อยู่บนคลาวด์ พร้อมด้วย AnimateDiff workflow และโมเดลและโหนดที่กำหนดเองทั้งหมดของ Animatediff V3, Animatediff SDXL และ Animatediff V2

รู้สึกอิสระในการทดลองและเล่นกับมัน หรือคุณสามารถอ่านต่อในบทแนะนำนี้เกี่ยวกับวิธีการใช้ AnimateDiff แล้วลองใช้ในภายหลัง

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

มาทำความรู้จักกับเวอร์ชันต่างๆ ของ AnimateDiff กัน แต่ละเวอร์ชันมีเสน่ห์ของตัวเอง ดังนั้นเตรียมตัวให้พร้อมสำหรับการเดินทางที่รวดเร็ว!

3.1. AnimateDiff V3: โมดูลการเคลื่อนไหวใหม่ใน Animatediff

AnimateDiff V3 ไม่ใช่แค่เวอร์ชันใหม่ แต่เป็นวิวัฒนาการในเทคโนโลยีโมดูลการเคลื่อนไหว โดดเด่นด้วยคุณสมบัติที่ปรับปรุง โมดูลการเคลื่อนไหว v3_sd15_mm.ckpt เป็นหัวใจของเวอร์ชันนี้ รับผิดชอบการเคลื่อนไหวที่ละเอียดและยืดหยุ่น

มาทำความเข้าใจกับเทคโนโลยีเบื้องหลังกัน ผู้เล่นหลักที่นี่คือโมดูล Domain Adapter LoRA ซึ่งเป็นตัวเตรียมโมดูลการเคลื่อนไหว โดยการฝึกอบรมจากเฟรมที่นิ่งจากชุดข้อมูลวิดีโอ โมดูล LoRA นี้ทำให้ AnimateDiff มีความสามารถในการจัดการกับการเคลื่อนไหวได้ดีขึ้น เจ๋งใช่ไหม?

เมื่อใช้ AnimateDiff V3 คุณจะสังเกตว่าไม่ได้แซงหน้า Animatediff V2 ในทุกด้าน แต่เสนอการเคลื่อนไหวประเภทต่างๆ เพิ่มเครื่องมือมากขึ้นในคลังสร้างสรรค์ของคุณ

Positive Prompt：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

ถ้าคุณชอบวิดีโอความละเอียดสูง AnimateDiff SDXL อาจเป็นตัวเลือก รันบนโมดูลการเคลื่อนไหว mm_sdxl_v10_beta.ckpt ออกแบบมาสำหรับการสร้างภาพเคลื่อนไหวความละเอียด 1024x1024 พร้อม 16 เฟรม แค่เตือนว่า มันยังอยู่ใน Beta อาจจะต้องรออีกหน่อยก่อนที่จะใช้

ใช้ Positive Prompt และ Negative Prompt เดียวกันกับ AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 คือคลาสสิก! ด้วย mm_sd_v15_v2.ckpt เวอร์ชันนี้เสนอ MotionLoRA สำหรับการเคลื่อนไหวของกล้องแปดทิศทาง: Zoom In/Out, Pan Left/Right, Tilt Up/Down, และ Rolling Clockwise/Anticlockwise Animatediff V2 เหมาะสำหรับการเพิ่มการเคลื่อนไหวของกล้องที่มีไดนามิกเพื่อเพิ่มความดราม่าให้กับภาพเคลื่อนไหวของคุณ

ใช้ Positive Prompt และ Negative Prompt เดียวกันกับ AnimateDiff V3

CheckPoint: toonyou_beta6

4. การตั้งค่า AnimateDiff: วิธีการใช้ AnimateDiff ใน ComfyUI

เมื่อคุณเข้าสู่ AnimateDiff workflow ใน ComfyUI คุณจะพบกลุ่มที่ชื่อว่า "AnimateDiff Options" ดังที่แสดงด้านล่าง พื้นที่นี้มีการตั้งค่าและคุณสมบัติที่คุณอาจจะใช้ขณะทำงานกับ AnimateDiff

4.1. AnimateDiff Models

ก่อนอื่น เลือกโมดูลการเคลื่อนไหว AnimateDiff ที่คุณต้องการลองใน dropdown ของ model_name:

• v3_sd15_mm.ckpt สำหรับ AnimateDiff V3
• mm_sdxl_v10_beta.ckpt สำหรับ AnimateDiff SDXL
• mm_sd_v15_v2.ckpt สำหรับ AnimateDiff V2

4.2. CheckPoint Models สำหรับ AnimateDiff

AnimateDiff ต้องการโมเดล Stable Diffusion chickpoint

สำหรับ AnimateDiff V2 และ V3 คุณต้องใช้โมเดล SD v1.5 โมเดลเช่น realisticVisionV60B1_V51VAE , toonyou_beta6 และ cardos_Animev2.0 เป็นตัวเลือกที่ยอดเยี่ยม

ถ้าคุณเอียงไปทาง AnimateDiff SDXL ให้เลือกโมเดล SDXL เช่น sd_xl_base_1.0 หรือ dreamshaperXL10_alpha2Xl10

ในสภาพแวดล้อมของ RunComfy บนคลาวด์ โมดูลการเคลื่อนไหวและโมเดล checkpoint ทั้งหมดถูกติดตั้งล่วงหน้าเพื่อความสะดวกของคุณ

4.3. Beta Schedule

Beta Schedule ใน AnimateDiff กำหนดพฤติกรรมของกระบวนการลดเสียงรบกวนในระหว่างการสร้างภาพเคลื่อนไหว

สำหรับ AnimateDiff V3 และ V2 การตั้งค่า sqrt_linear เป็นทางเลือกทั่วไป แต่ไม่ต้องลังเลที่จะลอง linear เพื่อผลลัพธ์ที่น่าสนใจ

สำหรับ AnimateDiff XL ใช้ linear (AnimateDiff-SDXL)

4.4. Motion Scale

Motion Scale ใน AnimateDiff ให้คุณควบคุมความเข้มของการเคลื่อนไหว ต่ำกว่า 1 หมายถึงการเคลื่อนไหวที่นุ่มนวลกว่า สูงกว่า 1 หมายถึงการเคลื่อนไหวที่ชัดเจนขึ้น

4.5. Context Batch Size กำหนดความยาวของภาพเคลื่อนไหว

Batch Size ใน AnimateDiff แทนบล็อกพื้นฐานของภาพเคลื่อนไหวของคุณ เป็นปัจจัยพื้นฐานที่กำหนดความยาวของภาพเคลื่อนไหวของคุณ มันกำหนดจำนวน "ฉาก" หรือส่วนที่ภาพเคลื่อนไหวของคุณจะประกอบด้วย

Batch Size ที่ใหญ่ขึ้นนำไปสู่ฉากมากขึ้นในภาพเคลื่อนไหวของคุณ ทำให้เกิดประสบการณ์การเล่าเรื่องที่ยาวนานและซับซ้อนมากขึ้น ไม่มีขีดจำกัดสูงสุดของ Batch Size ดังนั้นคุณสามารถสร้างภาพเคลื่อนไหวได้นานหรือสั้นตามที่คุณต้องการ ขนาด Batch Size เริ่มต้นคือ 16

• 16 Batch Size = วิดีโอสั้นๆ 2 วินาที
• 32 Batch Size = คลิปสั้นๆ 4 วินาที
• 64 Batch Size = ฟีเจอร์ที่ยาวขึ้น 8 วินาที

4.6. Context Length

Uniform Context Length ใน AnimateDiff มีบทบาทสำคัญในการสร้างการเปลี่ยนผ่านที่ราบรื่นระหว่างฉากที่กำหนดโดย Batch Size ของคุณ มันเหมือนกับมีบรรณาธิการที่มีความสามารถที่รู้วิธีการตัดต่อฉากเพื่อให้การเปลี่ยนผ่านเป็นธรรมชาติที่สุด

ความยาวที่คุณตั้งสำหรับ Uniform Context จะกำหนดลักษณะการเปลี่ยนผ่านระหว่างฉาก ความยาวของ Uniform Context ที่ยาวขึ้นนำไปสู่การเปลี่ยนผ่านที่ราบรื่นและค่อยเป็นค่อยไปมากขึ้น ทำให้การเปลี่ยนจากฉากหนึ่งไปยังอีกฉากหนึ่งแทบจะไม่สังเกตเห็นได้ ในทางกลับกัน ความยาวที่สั้นลงจะสร้างการเปลี่ยนผ่านที่รวดเร็วและเห็นได้ชัดเจนมากขึ้น ซึ่งอาจเหมาะสำหรับผลกระทบการเล่าเรื่องบางประเภท ความยาว Uniform Context เริ่มต้นคือ 16

4.7. Motion LoRA สำหรับการเคลื่อนไหวของกล้อง (เฉพาะ AnimateDiff v2 เท่านั้น)

Motion LoRAs ใช้ได้เฉพาะกับ AnimateDiff v2 เท่านั้น สิ่งเสริมที่น่าสนใจเหล่านี้นำชั้นการเคลื่อนไหวของกล้องที่มีไดนามิกมาสู่ภาพเคลื่อนไหวของคุณ เมื่อใช้ Motion LoRAs สิ่งสำคัญคือต้องปรับความสมดุลของน้ำหนัก LoRA ให้ถูกต้อง การตั้งค่าไว้ที่ประมาณ 0.75 มักจะเป็นจุดที่เหมาะสม ให้การเคลื่อนไหวของกล้องที่ราบรื่นโดยไม่มีสิ่งรบกวนในพื้นหลัง

ยิ่งไปกว่านั้น คุณมีอิสระในการสร้างสรรค์เพื่อเชื่อมโยง Motion LoRAs หลายๆ ตัวเข้าด้วยกัน โดยการรวมโมเดล Motion LoRA ต่างๆ อย่างมีกลยุทธ์ คุณสามารถจัดการการเคลื่อนไหวของกล้องที่ซับซ้อน ทดลองและค้นหาการผสมผสานการเคลื่อนไหวที่สมบูรณ์แบบสำหรับวิสัยทัศน์การสร้างภาพเคลื่อนไหวที่เป็นเอกลักษณ์ของคุณ ยกระดับภาพเคลื่อนไหวของคุณไปสู่ผลงานชิ้นเอกทางภาพยนตร์

นี่คือตัวอย่างการใช้ฟีเจอร์ "Pan Left" และ "Zoom In" ของ Motion LoRa ด้วยกัน

5. AnimateDiff Prompt

เอาล่ะ ตอนนี้คุณมีโมเดลและการตั้งค่า AnimateDiff ของคุณพร้อมแล้ว ถึงเวลาที่จะเปลี่ยนข้อความของคุณให้เป็นภาพเคลื่อนไหววิดีโอ

นี่คือตัวอย่าง

Here's an example of a positive prompt and a negative prompt:

Positive Prompt：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Travel / Prompt Scheduling

แต่เดี๋ยวก่อน ยังมีอีก! คุณเคยลอง Prompt Travel / Prompt Scheduling ไหม? คิดว่าเป็นเหมือนการเป็นผู้กำกับภาพยนตร์ คุณอยู่ในการควบคุม สร้างเรื่องราวของคุณฉากต่อฉาก มันเหมือนกับการต่อจิ๊กซอว์ที่แต่ละชิ้นเป็นช่วงเวลาในเรื่องราวของคุณ

Prompt Travel ทำงานอย่างไร?

จินตนาการว่าคุณกำลังสร้างภาพยนตร์ขนาดเล็ก คุณตั้งค่า Prompt 1 ที่ Frame 1 และ Prompt 2 ที่ Frame 8 และอื่นๆ AnimateDiff จะผสมผสาน Prompt เหล่านี้อย่างราบรื่น สร้างการเปลี่ยนผ่านที่นุ่มนวลจาก Frame 1 ถึง Frame 8

เคล็ดลับ: ในขณะที่ Prompt Travel อาจน่าสนใจ แต่สำคัญที่จะทราบว่ามันไม่ใช่ความสำเร็จที่แน่นอนเสมอไป ประสิทธิภาพของ Prompt Travel ขึ้นอยู่กับโมเดล checkpoint ที่คุณเลือก ตัวอย่างเช่น โมเดล cardos_Animev2.0 เข้ากันได้กับ Prompt Travel แต่ไม่ใช่โมเดลทั้งหมด นอกจากนี้ ผลลัพธ์อาจไม่แน่นอน - บาง Prompt อาจไม่ผสมผสานกันได้ดี ทำให้การเปลี่ยนผ่านไม่เป็นที่น่าพอใจ ซึ่งทำให้ Prompt Travel เป็นฟีเจอร์ทดลองมากกว่าที่จะเป็นเครื่องมือที่รับประกันการสร้างภาพเคลื่อนไหวที่ราบรื่น

เราได้วาง "Prompt Travel / Prompt Scheduling" node ไว้ที่ปลายทางของ AnimateDiff ComfyUI workflow ถ้าคุณอยากทดลอง คุณจะต้องใช้ "Prompt Travel" แทนตัวเลือก "Prompt" ปกติ

7. ComfyUI Hires Fix - การเพิ่มคุณภาพภาพเคลื่อนไหวของคุณ

โดยการใช้งาน AnimateDiff ร่วมกับ Hi-Res fix คุณสามารถเพิ่มความละเอียดของภาพของคุณได้ กระบวนการนี้จะเปลี่ยนภาพที่เลือนเล็กน้อยให้เป็นผลงานที่คมชัด ในส่วนนี้ เราจะแนะนำสองวิธี

7.1. Latent Upscale

การเพิ่มความละเอียดแบบ latent ใน ComfyUI โดยการตั้งค่าเช่น 0.6 denoising strength และเลือก 1.5x upscale คุณจะเห็นภาพเคลื่อนไหวของคุณเปลี่ยนไปด้วยรายละเอียดที่เข้มข้นขึ้นและความคมชัดที่มากขึ้น มันเหมือนกับการใส่แว่นตาและมองเห็นโลกในความละเอียดสูง!

7.2. ControlNet Upscale

การเพิ่มความละเอียดแบบ latent นั้นเจ๋ง แต่เรามายกระดับด้วย Control Net Assisted Latent Upscale มันใช้ ControlNets เพื่อการเพิ่มความละเอียดที่แม่นยำมากขึ้น ทำให้ภาพเคลื่อนไหวของคุณรักษาความสมบูรณ์ของมัน ด้วยการเพิ่ม preprocessor เส้นและโมเดล controlnet ที่ถูกต้อง คุณจะเพิ่มคุณภาพศิลปะของคุณในขณะที่รักษาจิตวิญญาณของมันไว้

8. พร้อมใช้งาน ComfyUI AnimateDiff Workflow: สำรวจการสร้างภาพเคลื่อนไหวด้วย Stable Diffusion

เราได้สำรวจโลกที่น่าตื่นเต้นของ AnimateDiff ใน ComfyUI สำหรับผู้ที่ต้องการทดลองใช้ ComfyUI AnimateDiff Workflow ที่เราได้เน้น ให้ลอง RunComfy ซึ่งเป็นสภาพแวดล้อมบนคลาวด์ที่มี GPU ที่ทรงพลังและเตรียมพร้อมทุกอย่าง รวมถึงโมเดลที่จำเป็นทั้งหมดและโหนดที่กำหนดเอง ไม่มีการตั้งค่าด้วยตนเอง! แค่สนามเด็กเล่นเพื่อปลดปล่อยความคิดสร้างสรรค์ของคุณ 🌟

Author: RunComfy Editors

ทีมบรรณาธิการของเรามีประสบการณ์กับ AI มากกว่า 15 ปี เริ่มต้นจาก NLP/Vision ในยุคของ RNN/CNN เราได้รับประสบการณ์มากมายใน AI Chatbot/Art/Animation เช่น BERT/GAN/Transformer เป็นต้น พูดคุยกับเราหากคุณต้องการความช่วยเหลือเกี่ยวกับศิลปะ AI, ภาพเคลื่อนไหวและวิดีโอ