SVD (Stable Video Diffusion) + SD | Text to Video

1. ComfyUI Stable Video Diffusion (SVD) Workflow

workflow ของ ComfyUI ผสานการทำงานของเทคโนโลยีการแปลงข้อความเป็นภาพ (Stable Diffusion) และการแปลงภาพเป็นวิดีโอ (Stable Video Diffusion) เพื่อการแปลงข้อความเป็นวิดีโอที่มีประสิทธิภาพ workflow นี้ทำให้คุณสามารถสร้างวิดีโอจากคำบรรยายข้อความโดยตรง เริ่มจากภาพพื้นฐานที่พัฒนาเป็นลำดับวิดีโอที่มีการเคลื่อนไหว workflow นี้ช่วยให้การสร้างวิดีโอหรือแอนิเมชันจากข้อความเป็นจริงได้

2. ภาพรวมของ Stable Video Diffusion (SVD)

2.1. แนะนำ Stable Video Diffusion (SVD)

Stable Video Diffusion (SVD) เป็นเทคโนโลยีที่ล้ำสมัยในการแปลงภาพนิ่งให้เป็นเนื้อหาวิดีโอที่มีการเคลื่อนไหว โดยอาศัยโมเดลภาพพื้นฐานของ Stable Diffusion SVD จะเพิ่มการเคลื่อนไหวให้กับภาพนิ่ง ช่วยให้สร้างคลิปวิดีโอสั้นๆ ได้ ความก้าวหน้าของโมเดลการแพร่กระจายแบบ latent ซึ่งเริ่มต้นจากการสร้างภาพ ตอนนี้ได้รวมมิติเวลาเพื่อทำให้ภาพนิ่งเคลื่อนไหวได้ สร้างวิดีโอที่มีความยาวตั้งแต่ 2 ถึง 5 วินาที

Stable Video Diffusion มีให้เลือกสองแบบ: SVD มาตรฐาน ซึ่งสามารถสร้างวิดีโอที่ความละเอียด 576×1024 พิกเซลใน 14 เฟรม และ SVD-XT ที่ปรับปรุงแล้ว ซึ่งสามารถสร้างได้ถึง 25 เฟรม ทั้งสองแบบรองรับอัตราเฟรมที่ปรับได้ตั้งแต่ 3 ถึง 30 เฟรมต่อวินาที เพื่อตอบสนองความต้องการในการสร้างเนื้อหาดิจิทัลที่หลากหลาย

การฝึกฝนโมเดล SVD มีขั้นตอนสามขั้นตอน: เริ่มจากโมเดลภาพ เปลี่ยนไปเป็นโมเดลวิดีโอที่ถูกฝึกฝนด้วยชุดข้อมูลวิดีโอขนาดใหญ่ และปรับปรุงด้วยการเลือกคลิปวิดีโอคุณภาพสูง กระบวนการที่ละเอียดอ่อนนี้เน้นความสำคัญของคุณภาพชุดข้อมูลในการเพิ่มประสิทธิภาพความสามารถในการผลิตวิดีโอของโมเดล

ที่แก่นของโมเดล Stable Video Diffusion คือโมเดลภาพ Stable Diffusion 2.1 ซึ่งทำหน้าที่เป็นพื้นฐานของภาพ การรวมเลเยอร์การคอนโวลูชันแบบเวลาและเลเยอร์การสนใจในตัวคาดคะเนเสียงรบกวนของ U-Net ทำให้กลายเป็นโมเดลวิดีโอที่ทรงพลัง โดยการตีความเทนเซอร์ latent เป็นลำดับวิดีโอ โมเดลนี้ใช้การแพร่กระจายย้อนกลับเพื่อลดเสียงรบกวนในทุกเฟรมพร้อมกัน คล้ายกับโมเดล VideoLDM

โมเดลนี้มีพารามิเตอร์ 1.5 พันล้านตัว และถูกฝึกฝนด้วยชุดข้อมูลวิดีโอขนาดใหญ่ จากนั้นถูกปรับปรุงเพิ่มเติมด้วยชุดข้อมูลวิดีโอคุณภาพสูงเพื่อประสิทธิภาพสูงสุด ชุดน้ำหนักโมเดล SVD สองชุดถูกเผยแพร่สู่สาธารณะ ออกแบบมาเพื่อสร้างวิดีโอ 14 เฟรมและ 25 เฟรมที่ความละเอียด 576×1024 ตามลำดับ

2.2. คุณสมบัติหลักของ Stable Video Diffusion (SVD)

เมื่อใช้ Stable Video Diffusion ใน workflow ของ ComfyUI คุณสามารถปรับพารามิเตอร์หลักสำหรับการปรับแต่งผลลัพธ์ของวิดีโอได้ รวมถึง motion bucket id ที่ควบคุมความเข้มของการเคลื่อนไหวของวิดีโอ; frames per second (fps) ที่กำหนดอัตราเฟรม; และ augmentation level ที่ปรับระดับเสียงรบกวนของภาพเริ่มต้นสำหรับการเปลี่ยนแปลงในระดับต่างๆ

2.2.1. Motion Bucket ID: คุณสมบัตินี้ให้ผู้ใช้สามารถควบคุมความเข้มของการเคลื่อนไหวของวิดีโอได้ โดยการปรับพารามิเตอร์นี้ คุณสามารถกำหนดปริมาณการเคลื่อนไหวที่สังเกตได้ในวิดีโอ ตั้งแต่การเคลื่อนไหวเล็กน้อยจนถึงการเคลื่อนไหวที่เด่นชัด ขึ้นอยู่กับผลภาพที่ต้องการ

2.2.2. Frames Per Second (fps): พารามิเตอร์นี้มีความสำคัญในการกำหนดความเร็วในการเล่นวิดีโอ การปรับอัตราเฟรมต่อวินาทีทำให้คุณสามารถสร้างวิดีโอที่สามารถจับความเคลื่อนไหวที่รวดเร็วของฉากหรือแสดงผลแบบสโลว์โมชั่นได้ จึงเพิ่มความสามารถในการเล่าเรื่องของเนื้อหาวิดีโอ ความยืดหยุ่นนี้มีประโยชน์อย่างยิ่งสำหรับการสร้างวิดีโอประเภทต่างๆ ตั้งแต่โฆษณาที่มีความเร็วสูงไปจนถึงชิ้นงานเล่าเรื่องที่มีความหมายลึกซึ้ง

2.2.3. พารามิเตอร์ระดับการเพิ่มข้อมูล: นี้ปรับระดับเสียงรบกวนของภาพเริ่มต้น ช่วยให้สามารถเปลี่ยนแปลงในระดับต่างๆ โดยการปรับพารามิเตอร์นี้ คุณสามารถควบคุมขอบเขตที่ภาพต้นฉบับถูกเปลี่ยนแปลงในระหว่างกระบวนการสร้างวิดีโอ การปรับระดับการเพิ่มข้อมูลช่วยให้คุณรักษาความใกล้เคียงกับภาพต้นฉบับหรือสร้างภาพที่มีความเป็นนามธรรมและศิลปะมากขึ้น ขยายขอบเขตความคิดสร้างสรรค์