IPAdapter V1 + AnimateDiff + ControlNet | ศิลปะการเคลื่อนไหว

1. Jellyfish Ballerina Workflow

เวิร์กโฟลว์นี้สร้างแอนิเมชันที่น่าหลงใหลของนักเต้นบัลเลต์ที่เต้นอย่างสง่างาม เลียนแบบการเคลื่อนไหวของแมงกะพรุนใต้น้ำ พัฒนาโดย Matt3o โครงการที่น่าหลงใหลนี้ถูกนำเสนอใน YouTube ของเขา ให้แรงบันดาลใจมากมาย

เราจะแยกส่วนประกอบที่สำคัญของเวิร์กโฟลว์นี้เพื่อให้คุณเข้าใจได้ง่ายขึ้น นอกจากนี้คุณยังจะได้เห็นว่าคุณสามารถใช้วิธีการนี้ในการสร้างผลงานแอนิเมชันที่หลากหลายได้อย่างไร ขยายขอบเขตความคิดสร้างสรรค์ของคุณ

2. เตรียมอินพุต

วัสดุอินพุตประกอบด้วยวิดีโอของนักเต้นบัลเลต์และรูปถ่ายของแมงกะพรุนเป็นจุดเริ่มต้น เป้าหมายคือการสร้างแอนิเมชันที่การเคลื่อนไหวของนักเต้นสะท้อนการเคลื่อนไหวของแมงกะพรุนที่ลอยผ่านน้ำ

3. IPAdapter: การใช้งาน IPAdapter สามตัว

เวิร์กโฟลว์นี้รวมสาม IPAdapter ที่มีบทบาทที่แตกต่างกัน

ประการแรก สิ่งสำคัญคือต้องเข้าใจว่า IPAdapter มีบทบาทสำคัญในการปรับปรุงและเพิ่มความละเอียดให้กับแอนิเมชัน พวกเขาเพิ่มความลึก รายละเอียด และความเสถียร อย่างไรก็ตาม ข้อจำกัดที่น่าจดจำคือความต้องการให้ภาพอินพุตเป็นรูปสี่เหลี่ยมจัตุรัส (เช่น 224x224 พิกเซล) ข้อจำกัดนี้ไม่สอดคล้องกับเนื้อหาวิดีโอทุกประเภท โดยเฉพาะอย่างยิ่งที่เป็นแนวตั้งหรือแนวนอน

เพื่อแก้ไขปัญหานี้ เวิร์กโฟลว์ใช้สอง IPAdapter สำหรับร่างกายส่วนบนและส่วนล่างของนักเต้น กลยุทธ์นี้ช่วยให้สามารถปรับขนาดอิสระของแต่ละส่วนของร่างกายให้เป็นรูปสี่เหลี่ยมจัตุรัสได้ รักษารายละเอียดและสัดส่วน

IPAdapter ตัวแรก: การรักษาความเสถียรของการเคลื่อนไหวของร่างกายส่วนบนและศีรษะ IPAdapter แรกทุ่มเทให้กับการปรับปรุงแอนิเมชันของร่างกายส่วนบนและศีรษะของนักเต้นให้แสดงออกด้วยความชัดเจนและสง่างาม

IPAdapter ตัวที่สอง: การปรับปรุงการเคลื่อนไหวของร่างกายส่วนล่าง IPAdapter ที่สองมุ่งเน้นที่ร่างกายส่วนล่างของนักเต้น รวมถึงขา เพิ่มความราบรื่นและสง่างามให้สอดคล้องกับการเคลื่อนไหวของร่างกายส่วนบน

IPAdapter ตัวที่สาม: การรวมองค์ประกอบของแมงกะพรุน IPAdapter สุดท้ายแนะนำธีมของแมงกะพรุน ทำหน้าที่เป็นจุดยึดธีมสำหรับแอนิเมชันทั้งหมด ใช้ภาพของแมงกะพรุนเพื่อเพิ่มคุณสมบัติที่เบาบางและลื่นไหลของสิ่งมีชีวิตนี้ให้กับแอนิเมชัน ผสานเข้ากับการเต้นของนักเต้นอย่างราบรื่น

4. หน้ากาก: การกำจัดพื้นหลัง

รายละเอียดที่สำคัญในการสร้างงานศิลปะนี้คือการจัดการกับสิ่งรบกวนที่อาจเกิดขึ้นจากพื้นหลังการเต้นเดิมของนักเต้น เพื่อแก้ไขปัญหานี้ หน้ากากถูกสร้างขึ้นเพื่อแยกนักเต้นออกจากส่วนที่เหลือของวิดีโอ ใช้ตัวแบ่งส่วนขั้นสูงที่มีประสิทธิภาพในการแยกนักเต้น ทำให้แอนิเมชันมีความแม่นยำและโฟกัสมากขึ้น

5. ControlNet: การรักษาความแม่นยำของท่าเต้น

การทำให้ท่าเต้นของนักเต้นถูกต้องเป็นสิ่งสำคัญ นี่คือที่ ControlNet เข้ามาเลียนแบบการเคลื่อนไหวของนักเต้นด้วยความแม่นยำเพื่อให้แอนิเมชันสอดคล้องกับการออกแบบท่าเต้นที่ตั้งใจไว้ มันมีบทบาทสำคัญในการจับภาพสาระสำคัญของการเคลื่อนไหวของนักเต้น ทำให้แต่ละเฟรมสะท้อนความสง่างามและความแม่นยำของนักเต้นในชีวิตจริง

6. AnimateDiff: การรักษาความราบรื่น

ในโครงการ Jellyfish Ballerina AnimateDiff มีความสำคัญในการสร้างการเปลี่ยนภาพที่ราบรื่นระหว่างเฟรม เลียนแบบการเคลื่อนไหวที่ราบรื่นของแมงกะพรุน มันมีบทบาทสำคัญในการรักษาความราบรื่นของแอนิเมชัน ทำให้แต่ละการเคลื่อนไหวผสานเข้ากับการเคลื่อนไหวถัดไปอย่างไร้รอยต่อและจับภาพสาระสำคัญของความสง่างามในการเคลื่อนไหว

การใช้ประโยชน์จากส่วนประกอบที่ระบุข้างต้นจะช่วยให้คุณสร้างการเต้นที่น่าหลงใหลของนักเต้นบัลเลต์เป็นแมงกะพรุน การทดลองกับวิดีโออินพุตและภาพอ้างอิงที่แตกต่างกันจะเปิดโอกาสในการสร้างสรรค์ในศิลปะการเคลื่อนไหวมากขึ้น!