Stable Cascade | แปลงข้อความเป็นภาพ

1. กระบวนการ Cascade ที่เสถียรใน ComfyUI

ในกระบวนการ ComfyUI นี้ เราใช้ Stable Cascade ซึ่งเป็นโมเดลแปลงข้อความเป็นภาพที่ยอดเยี่ยมซึ่งมีความโดดเด่นในด้านการจัดแนวคำสั่งและความเป็นเลิศทางสุนทรียภาพ. แตกต่างจากโมเดล Stable Diffusion อื่น ๆ, Stable Cascade ใช้โครงสร้างท่อสามขั้นตอน (ขั้นตอน A, B, และ C). การออกแบบนี้ช่วยให้การบีบอัดภาพแบบลำดับชั้นในพื้นที่แฝงที่มีประสิทธิภาพสูง, ส่งผลให้ได้ภาพที่มีคุณภาพยอดเยี่ยม

2. ภาพรวมของ Stable Cascade

Stable Cascade โดดเด่นเป็นโมเดลแปลงข้อความเป็นภาพที่ล้ำหน้า, ใช้สถาปัตยกรรมที่เป็นนวัตกรรม Würstchen. โมเดลนี้โดดเด่นด้วยภาพที่มีคุณภาพสูงขึ้น, ความเร็วที่มากขึ้น, ต้นทุนที่ต่ำลง, และการปรับแต่งที่ง่ายขึ้น

2.1. โครงสร้างกระบวนการสามขั้นตอน

Stable Cascade Stage A: ขั้นตอน A ของ Stable Cascade ใช้เครือข่ายปฏิปักษ์เชิงปริมาณเวกเตอร์ (VQGAN) เพื่อบีบอัดภาพโดยมีปัจจัยสี่. ขั้นตอนนี้บีบอัดค่าที่ลงในหนึ่งใน 8,192 รายการที่ไม่ซ้ำกันจากหนังสือโค้ดที่เรียนรู้, คล้ายกับการเลือกสีจากพาเลต. การบีบอัดนี้ไม่เพียงแต่บีบอัดภาพเชิงพื้นที่ 4:1 แต่ยังลดขนาดข้อมูลลงอย่างมากโดยการแทนที่ภาพด้วยโทเค็นที่ไม่ต่อเนื่อง. วิธีนี้แตกต่างจากการใช้ค่าทศนิยมของ Stable Diffusion, เสนอเทคนิคการบีบอัดที่กะทัดรัดและมีประสิทธิภาพมากขึ้น

Stable Cascade Stage B: ก้าวไปข้างหน้าถึงขั้นตอน B, Stable Cascade แสดงความสามารถในการปรับแต่งข้อมูลภาพ. ที่นี่, โทเค็นที่ไม่ต่อเนื่องจากขั้นตอน A ผ่านกระบวนการเปลี่ยนแปลงผ่านโมเดลการแพร่กระจายแฝง, ผสมผสานหลักการของ IP Adapter กับเทคนิคการแพร่กระจายอย่างชาญฉลาดเพื่อแนะนำการสร้างภาพที่คล้ายกัน. ขั้นตอน B โดดเด่นในความสามารถในการเปลี่ยนข้อมูลโทเค็นกลับเป็นค่าทศนิยมที่ละเอียด, เพิ่มคุณภาพเชิงความหมายของภาพ. ขั้นตอนนี้ออกแบบมาเพื่อประสิทธิภาพ, มุ่งเน้นที่การสร้างแฝงที่ลดสัญญาณรบกวนที่ตรงกับข้อมูลนำเข้าอย่างสมบูรณ์แบบ, ทำให้กระบวนการฝึกอบรมมีความคล่องตัวมากขึ้นและลดความต้องการในการคำนวณ

Stable Cascade Stage C: ขั้นตอน C นำเสนอวิธีการใหม่โดยการเพิ่มสัญญาณรบกวนให้กับเอาต์พุตเชิงความหมายจากขั้นตอน B, จากนั้นลดสัญญาณรบกวนอย่างละเอียดโดยใช้ลำดับบล็อก ConvNeXt. เป้าหมายคือการจำลองเนื้อหาที่เป็นความหมายอย่างแม่นยำ, โดยไม่ต้องลดขนาด. ขั้นตอนนี้มีบทบาทสำคัญในการเปลี่ยนบล็อกเชิงความหมายเป็นชิ้นส่วนที่สอดคล้องกันที่ขั้นตอน B สามารถปรับปรุงเพิ่มเติม, ส่งผลให้ได้ภาพคุณภาพสูง. การใช้บล็อก ConvNeXt อย่างมีกลยุทธ์ของขั้นตอน C เน้นความมุ่งมั่นในการส่งมอบประสิทธิภาพสูงสุดอย่างมีประสิทธิภาพ, หลีกเลี่ยงค่าใช้จ่ายในการคำนวณที่มากที่เกี่ยวข้องกับการบรรลุผลลัพธ์ขั้นสูงเช่นนี้

2.2. ทำไม Stable Cascade ถึงโดดเด่น

คุณภาพทางสุนทรียภาพที่เหนือกว่า: การประเมินแสดงให้เห็นว่า Stable Cascade เหนือกว่า Stable Diffusion XL อย่างมากในด้านการส่งภาพที่สวยงาม. มันบรรลุคุณภาพทางสุนทรียภาพ 2.5 เท่าของ SDXL และเหนือกว่า SDXL Turbo อย่างมากถึง 5.5 เท่า, แสดงให้เห็นถึงความสามารถพิเศษในการผลิตภาพคุณภาพสูง

ความเร็วในการอนุมานที่เพิ่มขึ้น: ด้วยสถาปัตยกรรมที่เป็นนวัตกรรม, Stable Cascade เสนอขั้นตอนการอนุมานที่มีประสิทธิภาพมากขึ้น, ใช้ทรัพยากรอย่างมีประสิทธิภาพมากกว่ารุ่นก่อนหน้า. ด้วยปัจจัยการบีบอัดที่น่าทึ่งถึง 42, มันสามารถแปลงภาพ 1024x1024 เป็นขนาดกะทัดรัด 24x24. ประสิทธิภาพนี้ไม่ได้ลดคุณภาพของภาพ แต่กลับเพิ่มความเร็วในการสร้างภาพ, ทำให้มันเป็นตัวเปลี่ยนเกมสำหรับการสร้างภาพอย่างรวดเร็ว

ความเข้าใจคำสั่งที่ดีขึ้น: Stable Cascade ยังโดดเด่นในความสามารถในการเข้าใจและจัดแนวกับคำสั่งของผู้ใช้, ไม่ว่าจะเป็นคำสั่งสั้นหรือรายละเอียด. การประเมินของมนุษย์แสดงให้เห็นว่ามันเหนือกว่าโมเดลอื่นๆ ในการตีความคำสั่งอย่างแม่นยำ, ทำให้ภาพที่สร้างขึ้นตรงกับวิสัยทัศน์ของผู้ใช้