APISR | การปรับขนาดภาพ/วิดีโออนิเมะ

1. APISR สำหรับการเพิ่มความละเอียดของภาพอนิเมะ | เวิร์กโฟลว์การปรับขนาด ComfyUI

เวิร์กโฟลว์การปรับขนาด ComfyUI นี้รวมโมเดล APISR (Anime Production-oriented Image Super-Resolution) เพื่อการปรับขนาดภาพและวิดีโออนิเมะที่มีคุณภาพต่ำและความละเอียดต่ำ นอกจากนี้ยังรวมโมเดล 4xAnimateSharp เพื่อการเปรียบเทียบ

โดยค่าเริ่มต้น เวิร์กโฟลว์นี้ถูกตั้งค่าสำหรับการปรับขนาดภาพ หากต้องการปรับขนาดวิดีโอ เพียงแทนที่โหนด "load image" ด้วยโหนด "load video" และแทนที่โหนด "save image" ด้วยโหนด "combine video" เพื่อการเปลี่ยนแปลงที่ราบรื่น

2. การแนะนำ APISR

APISR (Anime Production-oriented Image Super-Resolution) ถูกออกแบบมาเพื่อฟื้นฟูและเพิ่มความละเอียดของภาพและวิดีโออนิเมะที่มีคุณภาพต่ำและความละเอียดต่ำที่ผ่านการเสื่อมสภาพในสถานการณ์จริง มันตอบสนองต่อความสนใจที่เพิ่มขึ้นในด้านการเพิ่มความละเอียดของอนิเมะ (SR) โดยเบี่ยงเบนจากการใช้เทคนิคการเพิ่มความละเอียดแบบโฟโตรีอะลิสติกที่อาจไม่สามารถรองรับลักษณะเฉพาะของอนิเมะได้อย่างเพียงพอ

มีความท้าทายหลักสองประการใน SR ของอนิเมะ: การเสื่อมสภาพของเส้นมือวาดเนื่องจากการบีบอัดหรือการเก่า และการมีอยู่ของสิ่งเจือปนสีที่ไม่พึงประสงค์ เพื่อแก้ไขปัญหาเหล่านี้ APISR ได้แนะนำโมเดลการเสื่อมสภาพของภาพที่ออกแบบมาเพื่อจำลองผลกระทบจากการบีบอัดและช่วยในการฟื้นฟูเส้นมือวาด นอกจากนี้ยังเสนอเทคนิคในการเพิ่มเส้นมือวาดที่จางและเก่าโดยการรวมพวกมันจากภาพที่ถูกเพิ่มความคมเกินไป

สำหรับปัญหาของสิ่งเจือปนสีที่มักเกิดจากเครือข่าย SR ที่ใช้ GAN APISR ได้แนะนำการสูญเสียการรับรู้คู่ที่สมดุล วิธีนี้รวมคุณลักษณะการรับรู้จากทั้งโดเมนโฟโตรีอะลิสติกและอนิเมะ เพื่อมุ่งลดความไม่สอดคล้องกันของสีและปรับปรุงคุณภาพภาพของอนิเมะที่ถูกเพิ่มความละเอียด

APISR แนะนำกระบวนการเลือกข้อมูลเฉพาะสำหรับอนิเมะ โมเดลการเสื่อมสภาพของภาพที่มุ่งเป้าปัญหาเฉพาะของการฟื้นฟูอนิเมะ และวิธีการใหม่ในการแก้ไขปัญหาสิ่งเจือปนสีในการฝึกอบรมเครือข่าย SR ที่ใช้ GAN วิธีการเหล่านี้มุ่งเน้นไปที่การเพิ่มประสิทธิภาพกระบวนการเพิ่มความละเอียดสำหรับอนิเมะโดยเลือกเฟรมที่มีข้อมูลมากที่สุดสำหรับชุดข้อมูล ฟื้นฟูเส้นมือวาดที่เสื่อมสภาพ และปรับปรุงคุณภาพภาพโดยการแก้ไขปัญหาสี ความมีประสิทธิภาพของวิธีการของ APISR ได้รับการยืนยันผ่านการประเมินที่ครอบคลุมในชุดข้อมูล SR ของอนิเมะในโลกจริง โดยแสดงให้เห็นถึงความก้าวหน้าที่สำคัญกว่าวิธีการที่มีอยู่

3. วิธีใช้ ComfyUI APISR สำหรับการเพิ่มความละเอียดของภาพอนิเมะ

โมเดล APISR ใช้งานง่ายมาก เพียงเลือกโมเดลที่ตรงกับขนาดการเพิ่มความละเอียดที่คุณต้องการ

สำหรับข้อมูลเพิ่มเติม ตรวจสอบได้ที่ github และ paper