สไตล์ดินเหนียวด้วย Unsampling

เวิร์กโฟลว์นี้สร้างขึ้นโดย สำรวจ Unsampling เป็นวิธีสำหรับการถ่ายโอนสไตล์ที่สม่ำเสมอใน ComfyUI สำหรับคำแนะนำโดยละเอียดเกี่ยวกับวิธีการใช้ Unsampling โปรดดูที่: .

โดยใช้เวิร์กโฟลว์นี้ คุณสามารถแปลงวิดีโอของคุณเป็นแอนิเมชันสไตล์ ดินเหนียว กระบวนการนี้ง่ายดาย ต้องการความพยายามเพียงเล็กน้อยในการสร้างลุค claymation ที่ราบรื่นและโดดเด่น ซึ่งคล้ายกับแอนิเมชันดินเหนียวแบบเดิมๆ

กระบวนการ Unsampling ใน ComfyUI แปลงวิดีโออินพุตเป็น latent noise ที่รักษาการเคลื่อนไหวและโครงสร้างดั้งเดิมไว้ได้ noise ที่เป็นตัวแทนนี้ทำหน้าที่เป็นพื้นฐานสำหรับกระบวนการ diffusion ทำให้ AI สามารถใช้สไตล์ ดินเหนียว ในขณะที่รักษาความสม่ำเสมอของเวลาในเฟรมวิดีโอ

องค์ประกอบสำคัญของ Clay Style Unsampling Workflow:

Inputs: ที่นี่คุณอัปโหลดวิดีโออินพุตของคุณ การตั้งค่า frame_load_cap จำกัดจำนวนเฟรมที่โหลดจากอินพุต การตั้งค่า select_every_nth ข้ามเฟรมเพื่อลดภาระงานโดยรวม การเพิ่มค่าของ select_every_nth จะทำให้กระบวนการเร็วขึ้นแต่จะส่งผลต่อความราบรื่นของแอนิเมชัน ดินเหนียว สุดท้าย

Unsample: องค์ประกอบ Unsample ใช้ euler sampling เพื่อหา noise ที่แทนวิดีโออินพุตได้อย่างแม่นยำ โดยการปรับ cfg scales คุณสามารถปรับแต่งกระบวนการ Unsampling ให้ตรงกับอินพุตได้มากขึ้น โหนด Flip Sigma ย้อนกระบวนการ diffusion แปลงเฟรมอินพุตเป็น latent noise

Prompt: Prompt ที่สร้างขึ้นอย่างดีสามารถปรับปรุงผลลัพธ์สุดท้ายได้อย่างมาก โดยเฉพาะเมื่อมุ่งสู่สไตล์ ดินเหนียว ที่โดดเด่น สำหรับสไตล์นี้ prompt ที่ดีอาจเป็น "(claymation:1.15), stop motion, (everything made of clay:1.1), beautiful woman dancing." Prompt นี้นำทางโมเดลให้สร้างแอนิเมชันในแบบที่เลียนแบบการเคลื่อนไหวและพื้นผิวของดินเหนียวจริง

ControlNet: องค์ประกอบ ControlNet ใช้ Depth ControlNet ที่ประมวลผลล่วงหน้าโดย DepthAnythingV2 เพื่อรักษาความลึกและเรขาคณิตของวิดีโอต้นฉบับ สิ่งนี้ทำให้กระบวนการ resampling ยึดตามโครงสร้างของวิดีโออินพุต การตั้งค่า strength ควบคุมว่ามีอิทธิพลต่อ ControlNet มากน้อยเพียงใดต่อผลลัพธ์ โดยค่าที่สูงขึ้นจะนำไปสู่การรักษาโครงสร้างที่แม่นยำมากขึ้น

Resample: องค์ประกอบ Resample รับ latent noise ที่ unsampled และดำเนินกระบวนการ diffusion อีกครั้ง ใช้สไตล์ ดินเหนียว เพื่อสร้างผล claymation ที่ราบรื่นและสม่ำเสมอ

Outputs: เฟรมเอาต์พุตสุดท้ายจะถูกถอดรหัส บันทึกเป็นภาพแต่ละภาพ จากนั้นรวมเป็นวิดีโอ MP4 ที่ขยายขนาด รักษาอัตราเฟรมเดิมในขณะที่แสดงผลเอฟเฟกต์ ดินเหนียว ใหม่

สไตล์ ดินเหนียว เป็นเพียงหนึ่งในหลายความเป็นไปได้ที่น่าตื่นเต้นที่คุณสามารถทำได้ด้วยเวิร์กโฟลว์ Unsampling ใน ComfyUI ทดลองกับ prompt และการตั้งค่าต่างๆ เพื่อสร้างสไตล์ที่เป็นเอกลักษณ์ของคุณ และสนุกกับกระบวนการแปลงวิดีโอของคุณให้เป็นแอนิเมชันที่มีชีวิตชีวาและน่าทึ่ง!