AnimateDiff + Batch Prompt Schedule | Text to Video

1. AnimateDiff + Batch Prompt Schedule Workflow

การทำงานร่วมกันของ AnimateDiff และ Batch Prompt Schedule ช่วยให้สามารถสร้างวิดีโอจากข้อความบอกเรื่องราวได้อย่างไดนามิก โดยการอนุญาตให้มีการเปลี่ยนแปลงข้อความตามเวลาที่กำหนดไว้ Batch Prompt Schedule จะเพิ่มประสิทธิภาพในกระบวนการนี้ ให้การควบคุมอย่างละเอียดในเรื่องราวและภาพของแอนิเมชัน และขยายขอบเขตความคิดสร้างสรรค์ในการเล่าเรื่อง

2. ภาพรวมของ AnimateDiff

กรุณาตรวจสอบรายละเอียดเพิ่มเติมที่ How to use AnimateDiff in ComfyUI

3. ภาพรวมของ Batch Prompt Schedule

3.1. แนะนำ Batch Prompt Schedule

Batch Prompt Schedule ใน ComfyUI เป็น node ที่ทรงพลังในการจัดการและกำหนดเวลาข้อความที่ซับซ้อนในเฟรมหรือการทำซ้ำ มันช่วยให้ผู้สร้างสามารถปรับข้อความและพารามิเตอร์ได้อย่างไดนามิกตามเวลา ทำให้สามารถควบคุมรายละเอียดในแอนิเมชันและโครงการสื่อที่ใช้เวลาเป็นองค์ประกอบได้อย่างละเอียด

3.2 วิธีการใช้ Batch Prompt Schedule

ก่อนอื่น ต้องทราบว่ามีสามช่องข้อความสำหรับข้อความใน Batch Prompt Schedule node: Initial Text Field, Pretext Field, และ Posttext Field.

ในการเขียน Initial Text Field ใน ComfyUI Batch Prompt Schedule คุณจะต้องกำหนดข้อความหลักหรือข้อความพื้นฐานที่ใช้กับทุกเฟรมหรือการทำซ้ำในตารางเวลาของคุณ ซึ่งสามารถทำได้โดยใช้ Pretext Field หรือ Posttext Field ที่อนุญาตให้คุณเพิ่มข้อความที่ส่วนเริ่มต้นหรือส่วนท้ายของทุกข้อความที่กำหนดไว้

Initial Text Field: นี่คือช่องข้อความหลักที่คุณป้อนข้อความที่คุณต้องการให้ Batch Prompt Schedule ประมวลผล ระบุข้อความสำหรับ keyframes ที่นี่ ตัวอย่างเช่น:

json "0": "Grim Reaper, ยืนท่ามกลางหลุมศพ, ถือเคียว, ในสุสานที่มีหมอกในตอนกลางคืน, หมอกน่าขนลุก, พระจันทร์เต็มดวง, ค้างคาวบินรอบ, ฟักทองฮาโลวีน", "25": "ซอมบี้ชาย, อ้าปาก, กินสมอง, ในเมืองหลังหายนะ, กำแพงมีกราฟฟิตี, ไฟถนนกระพริบ", "50": "มนุษย์หมาป่าหอน, ตาของเขาส่องแสงสีแดง, ในป่าทึบน่ากลัว, พระจันทร์เต็มดวงสว่าง, ฝูงหมาป่าอยู่เบื้องหลัง"

Pretext Field: ข้อความที่เพิ่มที่ส่วนเริ่มต้นของแต่ละข้อความในตารางเวลา ทำให้มีฐานที่สอดคล้องกันในทุกข้อความที่กำหนดไว้

Posttext Field: ข้อความที่เพิ่มที่ส่วนท้ายของแต่ละข้อความในตารางเวลา ทำให้มีการสรุปที่สอดคล้องกันในทุกข้อความหรือเพิ่มองค์ประกอบที่สอดคล้องกันในทุกข้อความ

นอกจากนี้ยังมีพารามิเตอร์อื่นๆ ที่ช่วยควบคุมข้อความ:

Max Frames: กำหนดจำนวนเฟรมสูงสุดที่ใช้ Batch Prompt Schedule ควรสอดคล้องกับจำนวน latents ใน batch ของคุณหรือจำนวนเฟรมแอนิเมชันที่คุณตั้งใจจะผลิต

Print Output: พารามิเตอร์ boolean ที่เมื่อเปิดใช้งานจะอนุญาตให้มีการพิมพ์ output สำหรับการตรวจสอบหรือการดีบัก

Start Frame: ระบุเฟรมเริ่มต้นสำหรับ Batch Prompt Schedule

PW Fields: ช่องเหล่านี้ (pw_a, pw_b, pw_c, pw_d) ช่วยให้มีการปรับน้ำหนักของข้อความอย่างไดนามิกตามเวลา โดยการปรับน้ำหนักเหล่านี้ผ่านการแสดงออกและเชื่อมโยงกับค่าที่กำหนดเวลาอื่นๆ ผู้สร้างจะมีการควบคุมอย่างละเอียดว่าด้านต่างๆ ของข้อความมีผลต่อ output ของ Batch Schedule อย่างไร ตัวอย่างเช่น คุณสามารถรวม pw_a, pw_b, pw_c, และ pw_d เข้าไปใน Initial Text Field ดังนี้:

json "0": "นักเต้นที่มีความสุขในแสงสปอตไลท์, ยิ้มกว้าง (ความสุข:pw_a)", "24": "นักเต้นที่ครุ่นคิดภายใต้แสงจันทร์, คิดถึง (ความคิด:pw_b)", "48": "คนเศร้าในเงามืด, น้ำตาเป็นประกายใต้แสงจันทร์ (ความเศร้า:pw_c)"

เวิร์กโฟลว์นี้ได้รับแรงบันดาลใจจาก MDMZ. สำหรับข้อมูลเพิ่มเติม กรุณาเยี่ยมชมช่อง YouTube ของเขา