SUPIR | การเพิ่มความละเอียดของภาพ/วิดีโอที่สมจริง

1. ComfyUI SUPIR สำหรับการปรับความละเอียดของภาพ | กระบวนการเพิ่มความละเอียดของ ComfyUI

กระบวนการเพิ่มความละเอียดของ ComfyUI นี้ใช้โมเดล SUPIR (Scaling-UP Image Restoration) ซึ่งเป็นโมเดลโอเพนซอร์ซที่ล้ำสมัย ออกแบบมาเพื่อการฟื้นฟูและการเพิ่มประสิทธิภาพของภาพและวิดีโอ ในกระบวนการนี้ คุณจะได้สัมผัสกับการฟื้นฟูและการเพิ่มความละเอียดของภาพด้วย SUPIR ที่ให้ผลลัพธ์สมจริง

2. ภาพรวมของ ComfyUI SUPIR

SUPIR ซึ่งเป็นเทคโนโลยีการเพิ่มความละเอียดของภาพที่ทันสมัย เปรียบเทียบได้กับซอฟต์แวร์เชิงพาณิชย์เช่น Magnific และ Topaz AI การสอนของเราครอบคลุมถึง SUPIR upscaler wrapper node ภายในกระบวนการของ ComfyUI ที่มีความสามารถในการเพิ่มความละเอียดและฟื้นฟูภาพและวิดีโอที่สมจริง

สำหรับการเพิ่มความละเอียดของภาพ การตั้งค่าเริ่มต้นของกระบวนการนี้จะเพียงพอ หากต้องการปรับเปลี่ยนสำหรับการเพิ่มความละเอียดของวิดีโอ ให้เปลี่ยนจาก "load image" เป็น "load video" และเปลี่ยนผลลัพธ์จาก "save image" เป็น "combine video" เพื่อรองรับไฟล์วิดีโอ

3. การแนะนำโมเดล SUPIR

เทคโนโลยี Scaling-UP Image Restoration เป็นโมเดลการฟื้นฟูและการเพิ่มความละเอียดที่ล้ำสมัย ซึ่งแนะนำโดยบทความ Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild SUPIR นำเสนอวิธีการฟื้นฟูภาพถ่ายสมจริงด้วยการใช้ generative prior ร่วมกับการเพิ่มประสิทธิภาพของโมเดล โดยเสริมด้วยเทคนิคหลายโหมดที่ช่วยให้การฟื้นฟูภาพได้รับการชี้นำโดยคำสั่งข้อความ ซึ่งขยายขอบเขตการใช้งานอย่างมาก

4. วิธีใช้ ComfyUI SUPIR สำหรับการปรับความละเอียดของภาพ

4.1. โมเดลที่เข้ากันได้กับ SUPIR

ก่อนที่จะเริ่มใช้งาน SUPIR ให้แน่ใจว่าโมเดล checkpoint พร้อมใช้งาน:

• สองเวอร์ชันของ SDXL CLIP Encoder จาก OpenAI และ LAION ตามลำดับ
• โมเดลฐาน SDXL และ LLaVA ซึ่งมีความสำคัญสำหรับขั้นตอนเริ่มต้นของการประมวลผลภาพ
• โมเดลเสริมเช่น Juggernaut-XL ที่สามารถแทนที่โมเดลฐาน SDXL ในสถานการณ์เฉพาะเพื่อผลลัพธ์ที่สมจริงยิ่งขึ้น

4.2. โมเดล SUPIR

มีสองเวอร์ชันหลักของ SUPIR:

• SUPIR-v0Q: ปรับให้เหมาะสมสำหรับการทั่วไปและคุณภาพสูง เหมาะสำหรับภาพหลากหลายประเภท
• SUPIR-v0F: ออกแบบมาเพื่อภาพที่มีความเสื่อมสภาพเล็กน้อย โดยรักษารายละเอียดได้ดียิ่งขึ้นในสภาพเช่นนี้

4.3. พารามิเตอร์สำคัญของ SUPIR

• scale_by: อัตราการเพิ่มความละเอียดสำหรับอินพุตที่กำหนด กำหนดขนาดของภาพที่เพิ่มขึ้นระหว่างการฟื้นฟู
• steps: พารามิเตอร์นี้ระบุจำนวนขั้นตอนสำหรับ EDM Sampling Scheduler ซึ่งอาจมีผลต่อรายละเอียดและคุณภาพของการฟื้นฟู
• cfg_scale: ค่านี้คือ classifier-free guidance scale สำหรับคำสั่ง ซึ่งมีผลต่อความเข้มข้นของผลลัพธ์ที่สอดคล้องกับคำสั่งข้อความที่ให้มา
• positive-prompt & negative_prompt: พารามิเตอร์เหล่านี้ช่วยให้ผู้ใช้สามารถชี้นำการฟื้นฟูไปสู่คุณลักษณะที่ต้องการ (positive prompt) และหลีกเลี่ยงคุณลักษณะที่ไม่ต้องการ (negative prompt)
• s_churn & s_noise: เป็นพารามิเตอร์ต้นฉบับของ EDM ซึ่งควบคุมแง่มุมของโมเดลเสียงในกระบวนการ diffusion มีผลต่อพื้นผิวและความชัดเจนของภาพสุดท้าย
• color_fix_type: พารามิเตอร์นี้ช่วยให้สามารถเลือกวิธีการแก้ไขสีหลังการฟื้นฟูได้ มีตัวเลือก 'None', 'AdaIn', และ 'Wavelet'

4.4. เคล็ดลับการใช้งาน SUPIR

• ความต้องการของฮาร์ดแวร์: เพื่อให้ได้ผลลัพธ์ที่ดีที่สุดในการเพิ่มความละเอียดสูงโดยใช้ SUPIR จำเป็นต้องมีฮาร์ดแวร์ที่มีประสิทธิภาพเพียงพอ เราแนะนำให้ใช้เครื่องที่มี VRAM อย่างน้อย 48GB เช่น Extra Large Machine ที่ RunComfy เพื่อรองรับความต้องการในการคำนวณที่เข้มข้นของการเพิ่มรายละเอียดภาพขั้นสูง
• การเพิ่มรายละเอียดภาพด้วยคำสั่งข้อความ: นอกจากนี้ เพื่อเพิ่มศักยภาพของอัลกอริทึม AI ขั้นสูงของ SUPIR ให้ใช้ประโยชน์จากคุณสมบัติคำสั่งข้อความอย่างเต็มที่ ช่วยให้คุณชี้นำกระบวนการฟื้นฟูได้อย่างแม่นยำมากขึ้น เพิ่มรายละเอียดและความสมจริงของภาพที่เพิ่มความละเอียด โดยการใช้คำสั่งข้อความอย่างมีประสิทธิภาพ SUPIR สามารถผลิตผลลัพธ์ที่ไม่เพียงแค่มีขนาดใหญ่ขึ้น แต่ยังมีคุณภาพที่ดีกว่า

5. รายละเอียดเพิ่มเติมเกี่ยวกับ SUPIR

เทคโนโลยีการฟื้นฟูภาพได้เติบโตอย่างมากในขณะนี้ ให้ผลลัพธ์ที่น่าทึ่งและชาญฉลาด การเติบโตนี้เกิดจากการแนะนำ SUPIR Upscaler ซึ่งใช้โมเดล generative ขั้นสูงในการเพิ่มประสิทธิภาพภาพ

5.1. ความสามารถหลักของโมเดล SUPIR

• โมเดลที่แข็งแกร่ง: หัวใจของ SUPIR Upscaler คือ StableDiffusion-XL (SDXL) ซึ่งเป็นโมเดล generative ที่มีพารามิเตอร์ 2.6 พันล้านพารามิเตอร์ รองรับโดยโมเดล adaptor อีก 600 ล้านพารามิเตอร์ ทำให้ SUPIR Upscaler สามารถฟื้นฟูภาพด้วยรายละเอียดและความแม่นยำที่ยอดเยี่ยม

5.2. ความเป็นเลิศที่ขับเคลื่อนด้วยข้อมูล

• ข้อมูลการฝึกอบรมอย่างกว้างขวาง: SUPIR Upscaler ได้รับการฝึกอบรมด้วยชุดข้อมูลที่ประกอบด้วยภาพคุณภาพสูงกว่า 20 ล้านภาพ แต่ละภาพมีคำอธิบายที่ละเอียด ชุดข้อมูลนี้ฝึกอบรมโมเดลภาษาหลายโหมดที่มีพารามิเตอร์ 13 พันล้านพารามิเตอร์ ช่วยเพิ่มความสามารถของ SUPIR Upscaler ในการสร้างคำสั่งข้อความที่แม่นยำสำหรับการฟื้นฟูภาพเป้าหมาย

5.3. เทคโนโลยีที่นวัตกรรมและการใช้งานเชิงกลยุทธ์

• การออกแบบขั้นสูง: SUPIR Upscaler รวมการปรับปรุงเชิงกลยุทธ์หลายประการเช่น ZeroSFT connector ซึ่งช่วยเพิ่มประสิทธิภาพและลดความต้องการในการคำนวณ นอกจากนี้ ตัวเข้ารหัสภาพยังถูกปรับแต่งเพื่อให้จัดการกับการเสื่อมสภาพของภาพได้ดีขึ้น เพิ่มความแม่นยำของผลลัพธ์การฟื้นฟู
• การฝึกอบรมที่ครอบคลุม: นอกเหนือจากภาพคุณภาพสูง ชุดข้อมูลยังรวมถึงตัวอย่างที่มีคุณภาพต่ำ ซึ่งช่วยให้ SUPIR Upscaler เรียนรู้การระบุและแก้ไขข้อบกพร่องทางภาพ เพิ่มคุณภาพการฟื้นฟูโดยรวม

5.4. การสมดุลระหว่างการเพิ่มประสิทธิภาพและความสมจริง

• เทคนิคที่ซับซ้อน: แม้จะใช้โมเดล generative แต่ SUPIR Upscaler ใช้เทคนิคการสุ่มตัวอย่างใหม่เพื่อสมดุลระหว่างคุณภาพการเพิ่มประสิทธิภาพกับความสมจริงของภาพต้นฉบับ ซึ่งทำให้คุณภาพภาพเพิ่มขึ้นในขณะที่รักษาความเป็นต้นฉบับของภาพเดิม

สำหรับการศึกษาเชิงลึกเกี่ยวกับความสามารถของ SUPIR Upscaler และรายละเอียดทางเทคนิคเพิ่มเติม สำรวจแหล่งข้อมูลบน หน้า GitHub หรือ งานวิจัยพื้นฐาน แหล่งข้อมูลเหล่านี้ให้ข้อมูลเชิงลึกที่ครอบคลุมเกี่ยวกับเทคโนโลยีและกลยุทธ์ที่ทำให้ SUPIR Upscaler เป็นผู้นำในการฟื้นฟูภาพ