ToonCrafter | การแปลงการ์ตูนที่สร้างสรรค์

1. ToonCrafter คืออะไร?

ToonCrafter เป็นเทคนิค AI ขั้นสูงที่แปลงระหว่างภาพการ์ตูนสองภาพโดยใช้การแพร่ภาพที่ได้รับการฝึกฝนล่วงหน้า ซึ่งช่วยให้ ToonCrafter สร้างวิดีโอที่แปลงระหว่างภาพการ์ตูนสองภาพได้อย่างราบรื่น รองรับการสร้างวิดีโอได้ถึง 16 เฟรมที่ความละเอียด 512x320 พิกเซล

2. ToonCrafter ทำงานอย่างไร?

ToonCrafter เป็นเครื่องมือ AI ที่ออกแบบมาเพื่อสร้างภาพเคลื่อนไหวที่ราบรื่นจากภาพการ์ตูนแบบคงที่ โดยใช้เทคนิค AI ขั้นสูง มันใช้โมเดลการแพร่ภาพแฝง (Latent Diffusion Models หรือ LDMs) เพื่อเข้ารหัสภาพเป็นพื้นที่แฝงที่บีบอัด ซึ่งมีการเพิ่มเสียงรบกวนและลบออกทีละน้อยผ่านกระบวนการลดเสียงรบกวน วิธีนี้จะสร้างเฟรมกลางระหว่างภาพต้นฉบับ ทำให้เกิดภาพเคลื่อนไหวที่ราบรื่น

คุณลักษณะที่โดดเด่นของ ToonCrafter คือการเรียนรู้การปรับแก้การ์ตูน (Toon Rectification Learning) กระบวนการนี้ปรับโมเดล AI ที่ผ่านการฝึกฝนจากวิดีโอไลฟ์แอ็กชันให้เข้าใจและสร้างภาพเคลื่อนไหวการ์ตูน โดยการปรับแต่งโมเดลด้วยชุดข้อมูลขนาดใหญ่ของวิดีโอการ์ตูนคุณภาพสูง ToonCrafter จะเรียนรู้การเคลื่อนไหวและองค์ประกอบสไตล์เฉพาะของการ์ตูน เช่น การเคลื่อนไหวที่เกินจริงและพื้นผิวที่ง่ายขึ้น

ToonCrafter ยังมีการฉีดและเผยแพร่รายละเอียด (Detail Injection and Propagation) ซึ่งใช้ตัวถอดรหัส 3 มิติที่อ้างอิงจากคู่เพื่อรักษาความถูกต้องของภาพที่สร้างขึ้น ตัวถอดรหัสนี้จะวิเคราะห์และฉีดรายละเอียดระดับพิกเซลจากเฟรมต้นฉบับไปยังเฟรมใหม่ เพื่อให้แน่ใจว่าความสอดคล้องกับงานศิลปะต้นฉบับและป้องกันการเกิดสิ่งแปลกปลอมทางภาพ

นอกจากนี้ ToonCrafter ยังมีการสร้างที่ควบคุมโดยการร่าง (sketch-based controllable generation) ซึ่งช่วยให้นักสร้างภาพเคลื่อนไหวสามารถให้ภาพร่างที่เป็นแนวทางในการสร้างเฟรมกลางได้ คุณลักษณะนี้ช่วยให้นักศิลป์ควบคุมกระบวนการสร้างภาพเคลื่อนไหวได้มากขึ้น สามารถระบุท่าโพสหรือการเคลื่อนไหวเฉพาะได้ และทำให้ภาพเคลื่อนไหวสุดท้ายสอดคล้องกับวิสัยทัศน์ของพวกเขา

3. วิธีใช้ ComfyUI ToonCrafter

ComfyUI ToonCrafter Node: พารามิเตอร์การป้อนข้อมูล

โหนด ToonCrafter ต้องการพารามิเตอร์การป้อนข้อมูลหลายตัวที่กำหนดพฤติกรรมและผลลัพธ์ของกระบวนการแปลง นี่คือคำอธิบายรายละเอียดของแต่ละพารามิเตอร์:

• image: ภาพป้อนข้อมูลแรก (ประเภท: IMAGE)
• image2: ภาพป้อนข้อมูลที่สอง (ประเภท: IMAGE)
• ckpt_name: ชื่อของจุดตรวจสอบที่จะใช้ (ประเภท: STRING, ตัวเลือก: รายการของจุดตรวจสอบที่มีอยู่)
• prompt: คำอธิบายข้อความเพื่อเป็นแนวทางในการแปลง (ประเภท: STRING, รองรับข้อความหลายบรรทัดและแบบไดนามิก)
• seed: ค่าเมล็ดพันธุ์สำหรับการสร้างตัวเลขสุ่มเพื่อให้แน่ใจว่าผลลัพธ์สามารถทำซ้ำได้ (ประเภท: INT, ค่าเริ่มต้น: 123)
• eta: พารามิเตอร์ควบคุมมาตราส่วนของเสียงรบกวนที่เพิ่มระหว่างกระบวนการแพร่ภาพ ในโมเดลการแพร่ภาพ เสียงรบกวนจะค่อย ๆ ลดลงเพื่อสร้างภาพหรือเฟรมสุดท้าย การปรับค่า eta กำหนดว่ามีการเพิ่มเสียงรบกวนมากน้อยเพียงใดในแต่ละรอบของกระบวนการนี้ (ประเภท: FLOAT, ค่าเริ่มต้น: 1.0, ช่วง: 0.0 ถึง 15.0, ขั้น: 0.1)
• cfg_scale: มาตราส่วนการแนะนำที่ไม่ใช้ตัวจำแนก (ประเภท: FLOAT, ค่าเริ่มต้น: 7.5, ช่วง: 1.0 ถึง 15.0, ขั้น: 0.5)
• steps: จำนวนขั้นตอนการแพร่ภาพ (ประเภท: INT, ค่าเริ่มต้น: 50, ช่วง: 1 ถึง 60, ขั้น: 1)
• frame_count: จำนวนเฟรมที่จะสร้าง (ประเภท: INT, ค่าเริ่มต้น: 10, ช่วง: 5 ถึง 30, ขั้น: 1)
• fps: เฟรมต่อวินาทีสำหรับวิดีโอที่สร้าง (ประเภท: INT, ค่าเริ่มต้น: 8, ช่วง: 1 ถึง 60, ขั้น: 1)

ComfyUI ToonCrafter Node: พารามิเตอร์การส่งออก

ผลลัพธ์ของโหนด ToonCrafter คือชุดของเฟรมที่แปลงซึ่งสามารถใช้สร้างวิดีโอได้ นี่คือสิ่งที่คุณคาดหวัง:

• IMAGE: เฟรมที่สร้างของวิดีโอที่แปลง เฟรมเหล่านี้จะถูกส่งกลับเป็นเทนเซอร์และสามารถประมวลผลต่อหรือบันทึกเป็นไฟล์วิดีโอได้