Linear Mask Dilation | แอนิเมชันที่น่าทึ่ง

ComfyUI Linear Mask Dilation

สร้างแอนิเมชันวิดีโอที่น่าทึ่งโดยการเปลี่ยนแปลงวัตถุของคุณ (นักเต้น) และให้พวกเขาเดินทางผ่านฉากต่าง ๆ โดยใช้เอฟเฟกต์ mask dilation เวิร์กโฟลว์นี้ถูกออกแบบมาเพื่อใช้กับวิดีโอวัตถุเดี่ยว

วิธีใช้ ComfyUI Linear Mask Dilation Workflow:

1. อัปโหลดวิดีโอวัตถุในส่วน Input
2. เลือกความกว้างและความสูงที่ต้องการของวิดีโอสุดท้าย รวมถึงจำนวนเฟรมของวิดีโอที่ต้องข้ามด้วย “every_nth” คุณยังสามารถจำกัดจำนวนเฟรมทั้งหมดที่จะเรนเดอร์ด้วย “frame_load_cap”
3. กรอกพรอมต์บวกและลบ ตั้งค่า batch frame times ให้ตรงกับเวลาที่ต้องการให้เกิดการเปลี่ยนฉาก
4. อัปโหลดภาพสำหรับแต่ละสีของ IP Adapter subject mask:
   1. ขาว = subject (นักเต้น)
   2. ดำ = พื้นหลังแรก
   3. แดง = พื้นหลัง mask dilation สีแดง
   4. เขียว = พื้นหลัง mask dilation สีเขียว
   5. น้ำเงิน = พื้นหลัง mask dilation สีน้ำเงิน
5. โหลด LCM checkpoint ที่ดี (ฉันใช้ ParadigmLCM โดย Machine Delusions) ในส่วน “Models”
   1. เพิ่ม loras ใด ๆ โดยใช้ Lora stacker ที่อยู่ใต้ model loader
6. กด Queue Prompt

Input

• คุณสามารถปรับความกว้าง ความสูงโดยใช้สองช่องทางด้านซ้ายบน
• every_nth กำหนดจำนวนเฟรมของ input ที่ต้องข้าม (2 = ทุกเฟรมที่สอง)
• ช่องตัวเลขด้านซ้ายล่างแสดงข้อมูลเกี่ยวกับวิดีโอ input ที่อัปโหลด: เฟรมทั้งหมด ความกว้าง ความสูง และ FPS จากบนลงล่าง
• หากคุณมีวิดีโอ mask ของวัตถุที่สร้างไว้แล้ว (ต้องเป็นวัตถุสีขาวบนพื้นหลังสีดำ) คุณสามารถยกเลิกการปิดเสียงในส่วน “Override Subject Mask” และอัปโหลดวิดีโอ mask หรืออาจปิดเสียงในส่วน “Segment Subject” เพื่อประหยัดเวลาในการประมวลผล
• บางครั้งวัตถุที่แบ่งส่วนจะไม่สมบูรณ์ คุณสามารถตรวจสอบคุณภาพของ mask โดยใช้กล่องแสดงตัวอย่างที่มุมล่างขวาดังที่เห็นด้านบน หากเป็นกรณีนี้คุณสามารถลองใช้พรอมต์ใน node “Florence2Run” เพื่อกำหนดเป้าหมายส่วนต่าง ๆ ของร่างกาย เช่น “หัว”, “หน้าอก”, “ขา” เป็นต้น และดูว่าคุณได้รับผลลัพธ์ที่ดีขึ้นหรือไม่

Prompt

• ตั้งค่าพรอมต์บวกโดยใช้รูปแบบ batch:
  • เช่น “0”: “4k, masterpiece, 1girl standing on the beach, absurdres”, “25”: “HDR, sunset scene, 1girl with black hair and a white jacket, absurdres”, …
• พรอมต์ลบใช้รูปแบบปกติ คุณสามารถเพิ่ม embeddings ถ้าต้องการ

Mask Dilations

• กลุ่มสีแต่ละกลุ่มสอดคล้องกับสีของ mask dilation ที่จะสร้างขึ้น
• คุณสามารถตั้งค่ารูปร่างของ mask รวมถึงความเร็วในการขยายและการหน่วงเฟรมด้วย node ต่อไปนี้:
  • รูปร่าง: “circle” มีความแม่นยำที่สุดแต่ใช้เวลานานในการสร้าง ตั้งค่านี้เมื่อคุณพร้อมที่จะทำการเรนเดอร์ขั้นสุดท้าย “square” คำนวณได้เร็วแต่มีความแม่นยำน้อยกว่า เหมาะสำหรับการทดสอบเวิร์กโฟลว์และการตัดสินใจเกี่ยวกับภาพ IP adapter
  • dilate_per_frame: ความเร็วในการขยายของ mask ตัวเลขที่ใหญ่กว่าหมายถึงความเร็วในการขยายที่เร็วขึ้น
  • delay: จำนวนเฟรมที่ต้องรอก่อนที่ mask จะเริ่มขยาย
• หากคุณมีวิดีโอ mask composite ที่สร้างไว้แล้วคุณสามารถยกเลิกการปิดเสียงในกลุ่ม “Override Composite Mask” และอัปโหลดได้ แนะนำให้ข้ามกลุ่ม mask dilation หากการแทนที่เพื่อประหยัดเวลาในการประมวลผล

Models

• ใช้ LCM model ที่ดีสำหรับ checkpoint ฉันแนะนำ ParadigmLCM โดย Machine Delusions
• คุณสามารถระบุ AnimateLCM_sd15_t2v_lora.safetensors ด้วยน้ำหนักต่ำ 0.18 เพื่อปรับปรุงผลลัพธ์สุดท้ายเพิ่มเติม
• เพิ่ม Loras ใด ๆ เพิ่มเติมลงใน model โดยใช้ Lora stacker สีน้ำเงินที่อยู่ใต้ model loader

AnimateDiff

• คุณสามารถตั้งค่า Motion Lora ที่ต่างจากที่ฉันใช้ (LiquidAF-0-1.safetensors)
• ปรับค่า Multival Dynamic float สูงหรือต่ำขึ้นอยู่กับว่าคุณต้องการให้ผลลัพธ์มีการเคลื่อนไหวมากหรือน้อย

IP Adapters

• ที่นี่คุณสามารถระบุวัตถุอ้างอิงที่จะใช้ในการเรนเดอร์พื้นหลังสำหรับแต่ละ mask dilation รวมถึงวัตถุวิดีโอของคุณด้วย
• สีของแต่ละกลุ่มแสดงถึง mask ที่มันกำหนดเป้าหมาย:
  • ขาว = subject (นักเต้น)
  • ดำ = พื้นหลังแรก
  • แดง = พื้นหลัง mask dilation สีแดง
  • เขียว = พื้นหลัง mask dilation สีเขียว
  • น้ำเงิน = พื้นหลัง mask dilation สีน้ำเงิน
• หากคุณต้องการให้การเรนเดอร์สุดท้ายตามภาพ IP adapter input อย่างใกล้ชิดยิ่งขึ้น คุณสามารถเปลี่ยน IPAdapter preset จาก VIT-G เป็น PLUS ในกลุ่ม IPA Unified Loader

ControlNet

• เวิร์กโฟลว์นี้ใช้ controlnet 5 ตัวที่แตกต่างกัน รวมถึง AD, Lineart, QR Code, Depth และ OpenPose
• input ทั้งหมดไปยัง controlnet ถูกสร้างโดยอัตโนมัติ
• คุณสามารถเลือกแทนที่วิดีโอ input สำหรับ controlnet Depth และ Openpose ได้ถ้าต้องการ โดยยกเลิกการปิดเสียงในกลุ่ม “Override Depth” และ “Override Openpose” ดังที่เห็นด้านล่าง:

• แนะนำให้คุณปิดเสียงในกลุ่ม “Generate Depth” และ “Generate Openpose” หากการแทนที่เพื่อประหยัดเวลาในการประมวลผล

Sampler

• โดยค่าเริ่มต้นกลุ่ม HiRes Fix sampler จะถูกปิดเสียงเพื่อประหยัดเวลาในการทดสอบ
• แนะนำให้ข้ามกลุ่ม Sampler เมื่อพยายามทดลองกับการตั้งค่า mask dilation เพื่อประหยัดเวลา
• ในการเรนเดอร์ขั้นสุดท้ายคุณสามารถยกเลิกการปิดเสียงในกลุ่ม HiRes Fix ซึ่งจะ upscale และเพิ่มรายละเอียดให้กับผลลัพธ์สุดท้าย

Output

• มีกลุ่ม output สองกลุ่ม: ด้านซ้ายสำหรับ output sampler มาตรฐาน และด้านขวาสำหรับ output HiRes Fix sampler
• คุณสามารถเปลี่ยนที่ที่ไฟล์จะถูกบันทึกโดยการเปลี่ยนสตริง “custom_directory” ใน nodes “FileNamePrefixDateDirFirst” โดยค่าเริ่มต้น node นี้จะบันทึกวิดีโอ output ในไดเรกทอรีที่มีการประทับเวลาภายในไดเรกทอรี “output” ของ ComfyUI
  • เช่น …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

เกี่ยวกับผู้เขียน

Akatz AI:

• เว็บไซต์:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

ติดต่อ:

• อีเมล: akatzfey@sendysoftware.com