AnimateDiff + ControlNet | สไตล์ศิลปะเซรามิก

1. เวิร์กโฟลว์ ComfyUI: AnimateDiff + ControlNet | สไตล์ศิลปะเซรามิก

เวิร์กโฟลว์นี้ใช้ AnimateDiff, ControlNet ที่เน้นในเรื่องความลึก และ Lora เฉพาะเจาะจงเพื่อเปลี่ยนวิดีโอเป็นสไตล์ศิลปะเซรามิกอย่างชำนาญ คุณสามารถใช้คำบรรยายต่างๆ เพื่อสร้างสไตล์ศิลปะที่หลากหลายและทำให้ไอเดียของคุณเป็นจริง

2. วิธีใช้ AnimateDiff

AnimateDiff ถูกออกแบบมาเพื่อสร้างแอนิเมชันจากภาพนิ่งและคำบรรยายโดยใช้โมเดล Stable Diffusion และโมดูลการเคลื่อนไหวเฉพาะเจาะจง มันทำให้กระบวนการสร้างแอนิเมชันเป็นอัตโนมัติโดยการคาดการณ์การเปลี่ยนแปลงระหว่างเฟรม ทำให้ผู้ใช้ที่ไม่มีทักษะการเขียนโค้ดสามารถใช้งานได้

2.1 โมดูลการเคลื่อนไหว AnimateDiff

เริ่มต้นด้วยการเลือกโมดูลการเคลื่อนไหว AnimateDiff ที่ต้องการจากเมนูแบบเลื่อนลง model_name:

• ใช้ v3_sd15_mm.ckpt สำหรับ AnimateDiff V3
• ใช้ mm_sd_v15_v2.ckpt สำหรับ AnimateDiff V2
• ใช้ mm_sdxl_v10_beta.ckpt สำหรับ AnimateDiff SDXL

2.2 ตารางเบต้า

ตารางเบต้าใน AnimateDiff มีความสำคัญในการปรับกระบวนการลดเสียงรบกวนตลอดการสร้างแอนิเมชัน

สำหรับเวอร์ชัน V3 และ V2 ของ AnimateDiff การตั้งค่า sqrt_linear เป็นที่แนะนำ แม้ว่าการทดลองใช้การตั้งค่า linear อาจให้ผลที่แตกต่างกัน

สำหรับ AnimateDiff SDXL การตั้งค่า linear (AnimateDiff-SDXL) เป็นที่แนะนำ

2.3 ขนาดการเคลื่อนไหว

ฟีเจอร์ขนาดการเคลื่อนไหวใน AnimateDiff ช่วยในการปรับความเข้มข้นของการเคลื่อนไหวในแอนิเมชันของคุณ ขนาดการเคลื่อนไหวที่ต่ำกว่า 1 จะทำให้การเคลื่อนไหวเบาลง ขณะที่ขนาดที่มากกว่า 1 จะเพิ่มการเคลื่อนไหว

2.4 ความยาวของบริบท

ความยาวของบริบทที่สม่ำเสมอใน AnimateDiff มีความสำคัญในการเชื่อมต่อฉากต่างๆ ที่กำหนดโดยขนาดแบทช์ของคุณอย่างราบรื่น มันทำหน้าที่เหมือนบรรณาธิการผู้เชี่ยวชาญที่เชื่อมต่อฉากต่างๆ เพื่อการเล่าเรื่องที่ไหลลื่น การตั้งค่าความยาวของบริบทที่ยาวกว่าจะทำให้การเปลี่ยนแปลงราบรื่นขึ้น ขณะที่ความยาวที่สั้นกว่าจะให้การเปลี่ยนแปลงฉากที่รวดเร็วและชัดเจน ซึ่งเป็นประโยชน์สำหรับเอฟเฟกต์บางอย่าง ความยาวของบริบทที่สม่ำเสมอที่มาตรฐานถูกตั้งค่าไว้ที่ 16

2.5 การใช้ Motion LoRA เพื่อเพิ่มความพลวัตของกล้อง (เฉพาะ AnimateDiff v2)

Motion LoRAs ซึ่งเข้ากันได้เฉพาะกับ AnimateDiff v2 เพิ่มชั้นของการเคลื่อนไหวกล้องที่พลวัต การหาสมดุลที่เหมาะสมกับน้ำหนักของ LoRA โดยทั่วไปประมาณ 0.75 จะทำให้การเคลื่อนไหวของกล้องราบรื่นและไม่มีการบิดเบือนพื้นหลัง

นอกจากนี้ การเชื่อมโยงโมเดล Motion LoRA ต่างๆ จะช่วยให้เกิดความพลวัตของกล้องที่ซับซ้อนขึ้น ซึ่งช่วยให้ผู้สร้างสามารถทดลองและค้นหาการผสมผสานที่เหมาะสมสำหรับแอนิเมชันของตน ยกระดับให้ถึงระดับภาพยนตร์

3. วิธีใช้ ControlNet

ControlNet เพิ่มคุณภาพการสร้างภาพโดยการแนะนำการควบคุมเชิงพื้นที่ที่แม่นยำให้กับโมเดล text-to-image ทำให้ผู้ใช้สามารถจัดการภาพได้ในวิธีที่ซับซ้อนเกินกว่าคำบรรยาย โดยใช้ห้องสมุดขนาดใหญ่จากโมเดลอย่าง Stable Diffusion สำหรับงานซับซ้อนเช่นการสเก็ตช์ การสร้างแผนที่ และการแบ่งส่วนภาพ

ต่อไปนี้เป็นเวิร์กโฟลว์ที่ง่ายที่สุดในการใช้ ControlNet

3.1 การโหลดโหนด "Apply ControlNet"

เริ่มต้นการสร้างภาพของคุณโดยการโหลดโหนด "Apply ControlNet" ใน ComfyUI เพื่อเตรียมการรวมองค์ประกอบภาพและข้อความในงานออกแบบของคุณ

3.2 อินพุตของโหนด "Apply ControlNet"

ใช้ Positive และ Negative Conditioning เพื่อกำหนดรูปภาพของคุณ เลือกโมเดล ControlNet เพื่อกำหนดลักษณะสไตล์ และเตรียมภาพของคุณให้ตรงกับข้อกำหนดของโมเดล ControlNet เพื่อเตรียมพร้อมสำหรับการแปลง

3.3 เอาต์พุตของโหนด "Apply ControlNet"

เอาต์พุตของโหนดแนะนำโมเดลการแพร่กระจาย โดยให้คุณเลือกว่าจะปรับแต่งภาพเพิ่มเติมหรือนำ ControlNets เพิ่มเติมมาเพิ่มรายละเอียดและการปรับแต่งตามการโต้ตอบของ ControlNet กับข้อมูลสร้างสรรค์ของคุณ

3.4 การปรับแต่ง "Apply ControlNet" เพื่อผลลัพธ์ที่ดีที่สุด

ควบคุมอิทธิพลของ ControlNet ต่อภาพของคุณผ่านการตั้งค่าเช่น การกำหนดความแข็งแรง การปรับเปอร์เซ็นต์เริ่มต้น และการตั้งค่าเปอร์เซ็นต์สิ้นสุดเพื่อปรับการสร้างสรรค์และผลลัพธ์ของภาพอย่างละเอียด

สำหรับข้อมูลเพิ่มเติม กรุณาตรวจสอบ How to use ControlNet in ComfyUI

เวิร์กโฟลว์นี้ได้รับแรงบันดาลใจจาก MDMZ พร้อมการแก้ไขบางส่วน สำหรับข้อมูลเพิ่มเติม กรุณาเยี่ยมชมช่อง YouTube ของเขา