Audioreactive Mask Dilation | แอนิเมชันที่น่าทึ่ง

สร้างแอนิเมชันวิดีโอที่น่าทึ่งโดยการเปลี่ยนแปลงวัตถุของคุณ (เช่น นักเต้น) ด้วยออร่าที่ขยายและหดตัวตามจังหวะเพลง ใช้เวิร์กโฟลว์นี้กับวัตถุเดี่ยวหรือหลายวัตถุตามที่เห็นในตัวอย่าง

วิธีใช้ Audioreactive Mask Dilation Workflow:

1. อัปโหลดวิดีโอวัตถุในส่วน Input
2. เลือกความกว้างและความสูงที่ต้องการสำหรับวิดีโอสุดท้าย พร้อมกับจำนวนเฟรมจากวิดีโออินพุตที่ควรถูกข้ามด้วย 'every_nth' คุณยังสามารถจำกัดจำนวนเฟรมทั้งหมดที่จะเรนเดอร์ด้วย 'frame_load_cap'
3. กรอกคำสั่งบวกและลบ ตั้งค่าเวลาของเฟรมแบทช์ให้ตรงกับเวลาที่คุณต้องการให้เกิดการเปลี่ยนฉาก
4. อัปโหลดภาพสำหรับสีหน้ากากของ IP Adapter วัตถุเริ่มต้นแต่ละสี:
   1. สีแดง = วัตถุ (นักเต้น)
   2. สีดำ = พื้นหลัง
   3. สีขาว = หน้ากากการขยายตัวของเสียง
5. โหลด LCM checkpoint ที่ดีในส่วน 'Models' (ฉันใช้ ParadigmLCM โดย Machine Delusions)
   1. เพิ่ม loras ใด ๆ โดยใช้ Lora stacker ด้านล่างตัวโหลดโมเดล
6. กด Queue Prompt

Input

• อัปโหลดวิดีโอวัตถุที่ต้องการไปที่โหนด Load Video (Upload)
• ปรับความกว้างและความสูงของผลลัพธ์โดยใช้สองอินพุตด้านบนซ้าย
• every_nth ตั้งค่าว่าจะใช้ทุกเฟรมอื่น ๆ ทุกเฟรมที่สามและอื่น ๆ หรือไม่ (2 = ทุกเฟรมอื่น ๆ) ตั้งค่าเป็น 1 โดยค่าเริ่มต้น
• skip_frames ใช้ในการข้ามเฟรมในตอนต้นของวิดีโอ (100 = ข้าม 100 เฟรมแรกจากวิดีโออินพุต) ตั้งค่าเป็น 0 โดยค่าเริ่มต้น
• frame_load_cap ใช้ในการกำหนดจำนวนเฟรมทั้งหมดจากวิดีโออินพุตที่ควรถูกโหลด ควรรักษาให้ต่ำเมื่อทดสอบการตั้งค่า (30 - 60 ตัวอย่าง) แล้วเพิ่มหรือตั้งค่าเป็น 0 (ไม่มีการจำกัดเฟรม) เมื่อเรนเดอร์วิดีโอสุดท้าย
• ช่องตัวเลขด้านล่างขวาแสดงข้อมูลเกี่ยวกับวิดีโออินพุตที่อัปโหลด: จำนวนเฟรมทั้งหมด ความกว้าง ความสูง และ FPS จากบนลงล่าง
• หากคุณมีวิดีโอหน้ากากของวัตถุที่สร้างขึ้นแล้ว ให้ยกเลิกการปิดเสียงส่วน 'Upload Subject Mask' และอัปโหลดวิดีโอหน้ากากตัวเลือกการปิดเสียงส่วน 'Segment Dancer' เพื่อประหยัดเวลาในการประมวลผล
• บางครั้งวัตถุที่แยกออกมาอาจไม่สมบูรณ์แบบ ให้ตรวจสอบคุณภาพหน้ากากโดยใช้กล่องพรีวิวในด้านล่างขวาที่เห็นในภาพด้านบน หากเป็นกรณีนี้คุณสามารถเล่นกับคำสั่งในโหนด 'Florence2Run' เพื่อกำหนดเป้าหมายส่วนต่าง ๆ ของร่างกายเช่น 'head', 'chest', 'legs', ฯลฯ และดูว่าคุณได้รับผลลัพธ์ที่ดีขึ้นหรือไม่

Prompt

• ตั้งค่าคำสั่งบวกโดยใช้การจัดรูปแบบแบทช์:
  • เช่น '0': '4k, masterpiece, 1girl standing on the beach, absurdres', '25': 'HDR, sunset scene, 1girl with black hair and a white jacket, absurdres', …
• คำสั่งลบเป็นรูปแบบปกติ เพิ่ม embeddings ถ้าต้องการ

Audio Processing

• ส่วนนี้รับเสียงจากวิดีโออินพุต แยกสเตม (bass, drums, vocals, ฯลฯ) แล้วแปลงเป็นแอมพลิจูดที่ปรับเปลี่ยนตามเฟรมวิดีโออินพุต
• amp_control = ช่วงทั้งหมดที่แอมพลิจูดสามารถเคลื่อนที่ได้
• amp_offset = ค่าต่ำสุดที่แอมพลิจูดสามารถรับได้
  • ตัวอย่าง: amp_control = 0.8 และ amp_offset = 0.2 หมายความว่าสัญญาณจะเคลื่อนที่ระหว่าง 0.2 และ 1.0
• บางครั้งสเตม Drums มีโน้ตเบสจริงจากเพลง; ดูตัวอย่างแต่ละอันเพื่อกำหนดว่าสเตมใดดีที่สุดสำหรับหน้ากากของคุณ
• ใช้กราฟเพื่อให้เข้าใจอย่างชัดเจนว่าสัญญาณสำหรับสเตมนั้นเปลี่ยนแปลงตลอดระยะเวลาของวิดีโออย่างไร

Dilate Masks

• กลุ่มสีแต่ละกลุ่มสอดคล้องกับสีของหน้ากากการขยายที่จะถูกสร้างขึ้นโดยมัน
• ตั้งค่ารัศมีขั้นต่ำและสูงสุดสำหรับหน้ากากการขยาย พร้อมกับรูปร่างของมัน โดยใช้โหนดต่อไปนี้:

• shape: 'circle' เป็นวิธีที่แม่นยำที่สุดแต่ใช้เวลานานกว่าในการสร้าง ตั้งค่านี้เมื่อคุณพร้อมที่จะทำการเรนเดอร์สุดท้าย 'square' คำนวณได้เร็วแต่แม่นยำน้อยกว่า เหมาะสำหรับการทดสอบเวิร์กโฟลว์และการตัดสินใจเกี่ยวกับภาพ IP adapter
• max_radius: รัศมีหน้ากากในพิกเซลเมื่อค่าของแอมพลิจูดสูงสุด (1.0)
• min_radius: รัศมีหน้ากากในพิกเซลเมื่อค่าของแอมพลิจูดต่ำสุด (0.0)
• หากคุณมีวิดีโอหน้ากากคอมโพสิตที่สร้างขึ้นแล้ว คุณสามารถยกเลิกการปิดเสียงกลุ่ม 'Override Composite Mask' และอัปโหลดมัน ขอแนะนำให้ข้ามกลุ่มหน้ากากการขยายเพื่อประหยัดเวลาในการประมวลผล

Models

• ใช้โมเดล LCM ที่ดีสำหรับ checkpoint ฉันแนะนำ ParadigmLCM โดย Machine Delusions
• ผสมผสานโมเดลหลายตัวเข้าด้วยกันโดยใช้ Model Merge Stack เพื่อให้ได้เอฟเฟกต์ที่น่าสนใจต่างๆ ตรวจสอบให้แน่ใจว่าน้ำหนักรวมได้ถึง 1.0 สำหรับโมเดลที่เปิดใช้งาน
• ระบุ AnimateLCM_sd15_t2v_lora.safetensors ด้วยน้ำหนักต่ำ 0.18 เพื่อเพิ่มผลลัพธ์สุดท้าย
• เพิ่ม Loras เพิ่มเติมใด ๆ ไปยังโมเดลโดยใช้ Lora stacker ด้านล่างตัวโหลดโมเดล

AnimateDiff

• ตั้งค่า Motion Lora ที่แตกต่างจากที่ฉันใช้ (LiquidAF-0-1.safetensors)
• เพิ่ม/ลด Scale และ Effect floats เพื่อเพิ่ม/ลดปริมาณการเคลื่อนไหวในผลลัพธ์

IP Adapters

• ที่นี่คุณสามารถระบุภาพอ้างอิงที่จะใช้ในการเรนเดอร์พื้นหลังสำหรับหน้ากากการขยายแต่ละสี รวมถึงวัตถุวิดีโอของคุณ
• สีของแต่ละกลุ่มแสดงถึงหน้ากากที่มันกำหนดเป้าหมาย:

แดง, เขียว, น้ำเงิน:

• ภาพอ้างอิงหน้ากากวัตถุ

ดำ:

• ภาพอ้างอิงหน้ากากพื้นหลัง อัปโหลดภาพอ้างอิงสำหรับพื้นหลัง

ขาว, เหลือง, ม่วงแดง, ฟ้า:

• ภาพอ้างอิงหน้ากากการขยาย อัปโหลดภาพอ้างอิงสำหรับหน้ากากการขยายแต่ละสีที่ใช้งาน

ControlNet

• เวิร์กโฟลว์นี้ใช้ controlnets 5 แบบ รวมถึง AD, Lineart, QR Code, Depth, และ OpenPose
• อินพุตทั้งหมดไปยัง controlnets ถูกสร้างขึ้นโดยอัตโนมัติ
• คุณสามารถเลือกที่จะเขียนทับวิดีโออินพุตสำหรับ controlnets Lineart, Depth, และ Openpose ได้หากต้องการโดยยกเลิกการปิดเสียงกลุ่ม 'Override' ตามที่เห็นด้านล่าง:

• ขอแนะนำให้คุณปิดเสียงกลุ่ม 'Generate' ด้วยหากการเขียนทับเพื่อประหยัดเวลาในการประมวลผล

Tip:

• ข้าม Ksampler และเริ่มการเรนเดอร์ด้วยวิดีโออินพุตทั้งหมดของคุณ เมื่อวิดีโอ preprocessor ทั้งหมดถูกสร้างขึ้นแล้วให้บันทึกและอัปโหลดไปยัง overrides ที่เกี่ยวข้อง จากนี้ไปเมื่อทดสอบเวิร์กโฟลว์ คุณจะไม่ต้องรอให้วิดีโอ preprocessor แต่ละรายการถูกสร้างขึ้นทีละรายการ

Sampler

• โดยค่าเริ่มต้นกลุ่ม HiRes Fix sampler จะถูกปิดเสียงเพื่อประหยัดเวลาในการทดสอบ
• ฉันแนะนำให้ข้ามกลุ่ม Sampler ด้วยเมื่อพยายามทดลองกับการตั้งค่าหน้ากากการขยายเพื่อประหยัดเวลา
• ในการเรนเดอร์สุดท้ายคุณสามารถยกเลิกการปิดเสียงกลุ่ม HiRes Fix ซึ่งจะเพิ่มรายละเอียดและขยายผลลัพธ์สุดท้าย

Output

• มีกลุ่มผลลัพธ์สองกลุ่ม: ด้านซ้ายสำหรับผลลัพธ์ของ sampler มาตรฐาน และด้านขวาสำหรับผลลัพธ์ของ HiRes Fix sampler

เกี่ยวกับผู้เขียน

Akatz AI:

• เว็บไซต์:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

ติดต่อ:

• อีเมล: akatz.hello@gmail.com