LayerDiffuse | ข้อความเป็นภาพโปร่งใส

1. ภาพรวมของขั้นตอนการทำงาน ComfyUI LayerDiffuse

ขั้นตอนการทำงานของ ComfyUI LayerDiffuse รวมขั้นตอนย่อยเฉพาะทางสามขั้นตอน: การสร้างภาพโปร่งใส, การสร้างพื้นหลังจากพื้นหน้า, และกระบวนการกลับกันของการสร้างพื้นหน้าจากพื้นหลังที่มีอยู่ แต่ละขั้นตอนย่อยของ LayerDiffuse ทำงานอย่างอิสระ ให้คุณเลือกและเปิดใช้งานฟังก์ชัน LayerDiffuse ที่ตรงกับความต้องการในการสร้างสรรค์ของคุณ

1.1. การสร้างภาพโปร่งใสด้วย LayerDiffuse:

ขั้นตอนการทำงานนี้ทำให้สามารถสร้างภาพโปร่งใสได้โดยตรง ให้คุณมีความยืดหยุ่นในการสร้างภาพที่มีหรือไม่มีการระบุหน้ากากช่องอัลฟ่า

1.2. การสร้างพื้นหลังจากพื้นหน้าด้วย LayerDiffuse:

สำหรับขั้นตอนการทำงาน LayerDiffuse นี้ เริ่มต้นด้วยการอัปโหลดภาพพื้นหน้าของคุณและสร้างคำกระตุ้นความคิดที่อธิบายรายละเอียด LayerDiffuse จะผสมผสานองค์ประกอบเหล่านี้เพื่อสร้างภาพที่คุณต้องการ เมื่อตั้งค่าคำกระตุ้นของคุณสำหรับ LayerDiffuse สิ่งสำคัญคือต้องอธิบายฉากทั้งหมด (เช่น "รถจอดอยู่ข้างถนน") แทนที่จะอธิบายเฉพาะองค์ประกอบพื้นหลัง (เช่น "ถนน")

1.3. การสร้างพื้นหน้าจากพื้นหลัง:

เช่นเดียวกับขั้นตอนการทำงานก่อนหน้า ฟังก์ชันนี้ของ LayerDiffuse จะเปลี่ยนโฟกัสไปที่การผสมผสานองค์ประกอบพื้นหน้ากับพื้นหลังที่มีอยู่ ดังนั้น คุณต้องอัปโหลดภาพพื้นหลังและอธิบายภาพสุดท้ายที่คุณคาดหวังในคำกระตุ้นของคุณ โดยเน้นที่ฉากทั้งหมด (เช่น "สุนัขเดินอยู่บนถนน") มากกว่าองค์ประกอบเฉพาะ (เช่น "สุนัข")

สำหรับขั้นตอนการทำงาน LayerDiffuse เพิ่มเติม ดูได้ที่ github

2. ประสิทธิภาพของขั้นตอนการทำงาน LayerDiffuse

ในขณะที่กระบวนการสร้างภาพโปร่งใสมีความแข็งแกร่งและให้ผลลัพธ์คุณภาพสูงอย่างสม่ำเสมอ แต่ขั้นตอนการทำงานในการผสมผสานพื้นหลังและพื้นหน้ายังคงเป็นการทดลอง อาจไม่สามารถผสมผสานได้อย่างสมบูรณ์เสมอไป ซึ่งแสดงให้เห็นถึงความแปลกใหม่แต่ยังอยู่ในขั้นพัฒนาเทคโนโลยีนี้

3. การแนะนำทางเทคนิคของ LayerDiffuse

LayerDiffuse เป็นวิธีการใหม่ที่ออกแบบมาเพื่อให้โมเดลการแพร่กระจายเชิงแฝงที่ได้รับการฝึกอบรมขนาดใหญ่สามารถสร้างภาพที่มีความโปร่งใสได้ เทคนิคนี้แนะนำแนวคิดของ "latent transparency" ซึ่งเกี่ยวข้องกับการเข้ารหัสความโปร่งใสของช่องอัลฟาโดยตรงในมานิโฟลด์เชิงแฝงของโมเดลที่มีอยู่ การทำเช่นนี้ทำให้สามารถสร้างภาพโปร่งใสหรือหลายชั้นที่โปร่งใสได้โดยไม่ต้องเปลี่ยนการกระจายเชิงแฝงเดิมของโมเดลที่ได้รับการฝึกอบรมอย่างมีนัยสำคัญ เป้าหมายคือการรักษาคุณภาพสูงของผลลัพธ์ของโมเดลเหล่านี้ในขณะที่เพิ่มความสามารถในการสร้างภาพที่มีความโปร่งใส

เพื่อให้บรรลุเป้าหมายนี้ LayerDiffuse ปรับแต่งโมเดลการแพร่กระจายเชิงแฝงที่ได้รับการฝึกอบรมโดยการปรับพื้นที่เชิงแฝงของพวกเขาให้รวมความโปร่งใสเป็นการชดเชยเชิงแฝง กระบวนการนี้เกี่ยวข้องกับการเปลี่ยนแปลงโมเดลน้อยที่สุด เพื่อรักษาคุณสมบัติและประสิทธิภาพเดิมของมัน การฝึกอบรม LayerDiffuse ใช้ชุดข้อมูลของคู่ภาพชั้นโปร่งใส 1 ล้านคู่ ที่รวบรวมผ่านโครงการที่มีมนุษย์เป็นตัวกลางเพื่อให้แน่ใจว่ามีความหลากหลายของเอฟเฟกต์ความโปร่งใส

วิธีการนี้ได้รับการพิสูจน์ว่าสามารถปรับตัวเข้ากับเครื่องกำเนิดภาพโอเพ่นซอร์สต่าง ๆ และสามารถรวมเข้ากับระบบควบคุมตามเงื่อนไขที่แตกต่างกัน ความหลากหลายนี้ทำให้มีแอปพลิเคชันหลากหลาย เช่น การสร้างภาพที่มีความโปร่งใสเฉพาะพื้นหน้า/พื้นหลัง การสร้างชั้นที่มีความสามารถในการสร้างร่วมกัน และการควบคุมเนื้อหาโครงสร้างของชั้นต่าง ๆ