เจาะลึก ComfyUI ControlNet: มี Depth, OpenPose, Canny, Lineart, Softedge, Scribble, Seg...

สวัสดี! ในคู่มือนี้ เราจะเจาะลึกโลกที่น่าตื่นเต้นของ ControlNet ใน ComfyUI มาสำรวจกันว่า ControlNet นำเสนออะไรใหม่ ๆ และสามารถเพิ่มความน่าสนใจให้กับโครงการของคุณได้อย่างไร!

เราจะครอบคลุม:

1. ControlNet คืออะไร?

2. ด้านเทคนิคของ ControlNet

3. วิธีการใช้ ComfyUI ControlNet: ขั้นตอนพื้นฐาน

• 3.1. การโหลด "Apply ControlNet" Node ใน ComfyUI
• 3.2. Inputs ของ "Apply ControlNet" Node
• 3.3. Outputs ของ "Apply ControlNet" Node
• 3.4. พารามิเตอร์สำหรับการปรับแต่ง "Apply ControlNet"

4. วิธีการใช้ ComfyUI ControlNet: ฟีเจอร์ขั้นสูง - Timestep Keyframes

5. โมเดล ControlNet/T2IAdaptor ที่หลากหลาย: ภาพรวมรายละเอียด

• 5.1. ControlNet Openpose
• 5.2. ControlNet Tile
• 5.3. ControlNet Canny
• 5.4. ControlNet Depth
• 5.5. ControlNet Lineart
• 5.6. ControlNet Scribbles
• 5.7. ControlNet Segmentation
• 5.8. ControlNet Shuffle
• 5.9. ControlNet Inpainting
• 5.10. ControlNet MLSD
• 5.11. ControlNet Normalmaps
• 5.12. ControlNet Soft Edge
• 5.13. ControlNet IP2P (Instruct Pix2Pix)
• 5.14. T2I Adapter
• 5.15. ControlNet ยอดนิยมอื่น ๆ: QRCode Monster และ IP-Adapter

6. วิธีการใช้ ControlNets หลายตัว

7. สัมผัสประสบการณ์ ComfyUI ControlNet ตอนนี้!

🌟🌟🌟 ComfyUI Online - สัมผัสประสบการณ์ ControlNet Workflow ตอนนี้ 🌟🌟🌟

หากคุณสนใจที่จะสำรวจ ControlNet workflow ใช้ ComfyUI web ต่อไปนี้ ซึ่งมาพร้อมกับ customer nodes และโมเดลที่จำเป็นทั้งหมด ช่วยให้คุณสร้างสรรค์ได้อย่างราบรื่นโดยไม่ต้องตั้งค่าด้วยตนเอง เริ่มต้นการทดลองกับฟีเจอร์ของ ControlNet ทันที หรืออ่านต่อในบทเรียนนี้เพื่อเรียนรู้วิธีการใช้ ControlNet อย่างมีประสิทธิภาพ

สำหรับ ComfyUI workflows ขั้นสูงและพรีเมียมเพิ่มเติม เยี่ยมชม 🌟ComfyUI Workflow List🌟

1. ControlNet คืออะไร?

ControlNet เป็นเทคโนโลยีที่เปลี่ยนแปลงอย่างมากในการเพิ่มขีดความสามารถของโมเดลการแพร่กระจายข้อความเป็นภาพ ช่วยให้สามารถควบคุมพื้นที่ได้อย่างไม่เคยมีมาก่อนในกระบวนการสร้างภาพ ในฐานะสถาปัตยกรรมเครือข่ายประสาท ControlNet ผสมผสานอย่างไร้รอยต่อกับโมเดลขนาดใหญ่ที่ได้รับการฝึกฝนมาก่อนเช่น Stable Diffusion มันใช้การฝึกฝนอย่างกว้างขวางของโมเดลเหล่านี้ที่สร้างขึ้นจากภาพนับพันล้าน เพื่อแนะนำเงื่อนไขเชิงพื้นที่ในการสร้างภาพ เงื่อนไขเหล่านี้สามารถเป็นขอบและท่าทางของมนุษย์ไปจนถึงแผนที่ความลึกและการแบ่งส่วน ซึ่งช่วยให้ผู้ใช้สามารถนำทางการสร้างภาพในแบบที่ไม่เคยเป็นไปได้ด้วยการใช้ข้อความเพียงอย่างเดียว

2. ด้านเทคนิคของ ControlNet

ความฉลาดของ ControlNet อยู่ในวิธีการที่โดดเด่นของมัน ในขั้นต้นมันรักษาพารามิเตอร์ของโมเดลดั้งเดิมเพื่อให้การฝึกฝนพื้นฐานยังคงไม่เปลี่ยนแปลง ต่อมา ControlNet แนะนำการโคลนของชั้นการเข้ารหัสของโมเดลสำหรับการฝึกฝน โดยใช้ "zero convolutions" ชั้น convolution ที่ออกแบบมาเป็นพิเศษนี้เริ่มต้นด้วยน้ำหนักที่เป็นศูนย์ เพื่อผสมผสานเงื่อนไขเชิงพื้นที่ใหม่อย่างระมัดระวัง วิธีการนี้จะป้องกันไม่ให้เกิดเสียงรบกวนที่ไม่พึงประสงค์เข้ามาแทรกแซง รักษาความเชี่ยวชาญเดิมของโมเดลขณะที่เริ่มต้นเส้นทางการเรียนรู้ใหม่

3. วิธีการใช้ ComfyUI ControlNet: ขั้นตอนพื้นฐาน

ตามปกติแล้ว โมเดลการแพร่กระจายที่เสถียรจะใช้ข้อความเป็นกลไกการปรับสภาพเพื่อแนะนำการสร้างภาพ ControlNet แนะนำรูปแบบการปรับสภาพเพิ่มเติมในกระบวนการนี้ เพิ่มความสามารถในการนำทางภาพที่สร้างขึ้นให้แม่นยำยิ่งขึ้นตามข้อมูลทั้งข้อความและภาพ

3.1. การโหลด "Apply ControlNet" Node ใน ComfyUI

ขั้นตอนนี้รวม ControlNet เข้ากับ workflow ของคุณใน ComfyUI ช่วยให้สามารถใช้การปรับสภาพเพิ่มเติมในการสร้างภาพของคุณได้ มันวางพื้นฐานสำหรับการใช้คำแนะนำภาพควบคู่กับข้อความ

3.2. Inputs ของ "Apply ControlNet" Node

Positive และ Negative Conditioning: Inputs เหล่านี้มีความสำคัญในการกำหนดผลลัพธ์ที่ต้องการและแง่มุมที่ต้องหลีกเลี่ยงในภาพที่สร้างขึ้น ควรเชื่อมโยงกับ "Positive prompt" และ "Negative prompt" ตามลำดับ เพื่อให้สอดคล้องกับส่วนการปรับสภาพด้วยข้อความของกระบวนการ

ControlNet Model: Input นี้ควรเชื่อมโยงกับ output ของ "Load ControlNet Model" node ขั้นตอนนี้มีความสำคัญในการเลือกและผสมผสานโมเดล ControlNet หรือ T2IAdaptor เข้ากับ workflow ของคุณ เพื่อให้แน่ใจว่าโมเดลการแพร่กระจายได้รับประโยชน์จากคำแนะนำเฉพาะที่โมเดลที่คุณเลือกให้ แต่ละโมเดลไม่ว่าจะเป็น ControlNet หรือ T2IAdaptor ได้รับการฝึกฝนอย่างเข้มงวดเพื่อมีอิทธิพลต่อกระบวนการสร้างภาพตามประเภทข้อมูลหรือความชอบสไตล์ที่เฉพาะเจาะจง เนื่องจากฟังก์ชันของโมเดล T2IAdaptor หลายตัวสอดคล้องกับโมเดล ControlNet มาก เราจะเน้นไปที่โมเดล ControlNet เป็นหลักในบทสนทนาที่ตามมา อย่างไรก็ตาม เราจะกล่าวถึง T2IAdaptors ที่นิยมบางตัวเพื่อความสมบูรณ์

Preprocessor: Input "image" ต้องเชื่อมโยงกับ "ControlNet Preprocessor" node ซึ่งมีความสำคัญในการปรับภาพของคุณให้ตรงกับข้อกำหนดเฉพาะของโมเดล ControlNet ที่คุณใช้อยู่ จำเป็นต้องใช้ preprocessor ที่ถูกต้อง ที่เหมาะสมกับโมเดล ControlNet ที่คุณเลือก ขั้นตอนนี้ทำให้ภาพดั้งเดิมผ่านการปรับเปลี่ยนที่จำเป็น เช่น การปรับรูปแบบ ขนาด สี หรือการใช้ฟิลเตอร์เฉพาะ เพื่อให้เหมาะสมกับแนวทางของ ControlNet หลังจากขั้นตอนการปรับสภาพนี้ ภาพดั้งเดิมจะถูกแทนที่ด้วยเวอร์ชันที่ปรับแล้ว ซึ่ง ControlNet จะใช้งาน กระบวนการนี้รับประกันว่าภาพที่คุณป้อนจะถูกเตรียมอย่างแม่นยำสำหรับกระบวนการ ControlNet

3.3. Outputs ของ "Apply ControlNet" Node

"Apply ControlNet" node สร้าง outputs ที่สำคัญสองอย่าง: Positive และ Negative Conditioning Outputs เหล่านี้ซึ่งผสมผสานกับผลกระทบที่มีความหมายของ ControlNet และคำแนะนำภาพ มีบทบาทสำคัญในการนำทางพฤติกรรมของโมเดลการแพร่กระจายใน ComfyUI หลังจากนี้คุณมีทางเลือก: ดำเนินการต่อไปยัง KSampler สำหรับขั้นตอนการสุ่มตัวอย่างเพื่อปรับแต่งภาพที่สร้างขึ้นเพิ่มเติม หรือสำหรับผู้ที่ต้องการระดับรายละเอียดและการปรับแต่งที่สูงกว่านี้ในผลงานของพวกเขา สามารถดำเนินการต่อไปเพื่อเพิ่ม ControlNets เพิ่มเติม การใช้เทคนิคขั้นสูงนี้ในการผสมผสาน ControlNets เพิ่มเติมช่วยให้สามารถควบคุมลักษณะของภาพได้อย่างละเอียดมากขึ้น มอบเครื่องมือที่เสริมสร้างสำหรับผู้สร้างที่ต้องการความแม่นยำและการควบคุมที่ไม่มีใครเทียบได้ในผลลัพธ์ภาพของพวกเขา

3.4. พารามิเตอร์สำหรับการปรับแต่ง "Apply ControlNet"

strength: พารามิเตอร์นี้กำหนดความเข้มข้นของผลกระทบของ ControlNet ต่อภาพที่สร้างขึ้นใน ComfyUI ค่า 1.0 หมายถึงความเข้มข้นเต็มที่ หมายความว่าคำแนะนำของ ControlNet จะมีอิทธิพลสูงสุดต่อผลลัพธ์ของโมเดลการแพร่กระจาย ในทางกลับกัน ค่า 0.0 หมายถึงไม่มีอิทธิพลเลย ซึ่งจะปิดการทำงานของ ControlNet ในกระบวนการสร้างภาพ

start_percent: พารามิเตอร์นี้ระบุจุดเริ่มต้นเป็นเปอร์เซ็นต์ของกระบวนการแพร่กระจายที่ ControlNet เริ่มมีอิทธิพลต่อการสร้างภาพ ตัวอย่างเช่น การตั้งค่า start percent ที่ 20% หมายถึงคำแนะนำของ ControlNet จะเริ่มมีผลต่อการสร้างภาพจากจุด 20% ของกระบวนการแพร่กระจาย

end_percent: เช่นเดียวกับ "Start Percent" พารามิเตอร์ "End Percent" กำหนดจุดที่ ControlNet หยุดมีอิทธิพล ตัวอย่างเช่น การตั้งค่า end percent ที่ 80% หมายถึงคำแนะนำของ ControlNet จะหยุดมีผลต่อการสร้างภาพที่จุด 80% ของกระบวนการแพร่กระจาย ทิ้งช่วงสุดท้ายไว้โดยไม่มีการปรับสภาพ

4. วิธีการใช้ ComfyUI ControlNet: ฟีเจอร์ขั้นสูง - Timestep Keyframes

Timestep Keyframes ใน ControlNet เสนอโอกาสในการควบคุมพฤติกรรมของเนื้อหาที่สร้างโดย AI อย่างละเอียดอ่อน โดยเฉพาะอย่างยิ่งเมื่อเวลาหรือความก้าวหน้าเป็นสิ่งสำคัญ เช่น ในภาพเคลื่อนไหวหรือภาพที่เปลี่ยนแปลง นี่คือการแยกย่อยของพารามิเตอร์หลักเพื่อช่วยให้คุณใช้งานได้อย่างมีประสิทธิภาพและเข้าใจง่าย:

prev_timestep_kf: คิดถึง prev_timestep_kf ว่าเป็นการเชื่อมโยงระหว่าง keyframe ที่มาก่อนในลำดับการทำงาน โดยการเชื่อมโยง keyframes คุณจะสร้างการเปลี่ยนผ่านที่ลื่นไหลหรือ storyboard ที่นำทาง AI ผ่านกระบวนการสร้างภาพทีละขั้นตอน เพื่อให้แต่ละเฟสไหลเข้าหากันอย่างมีเหตุผล

cn_weights: cn_weights มีประโยชน์ในการปรับแต่งผลลัพธ์โดยการปรับคุณสมบัติเฉพาะภายใน ControlNet ในช่วงต่าง ๆ ของกระบวนการสร้าง

latent_keyframe: latent_keyframe ช่วยให้คุณปรับแต่งความเข้มข้นของส่วนต่าง ๆ ของโมเดล AI ที่มีอิทธิพลต่อผลลัพธ์สุดท้ายในช่วงเฟสหนึ่งของกระบวนการสร้างภาพ ตัวอย่างเช่น หากคุณกำลังสร้างภาพที่พื้นหน้าควรมีรายละเอียดมากขึ้นเมื่อกระบวนการก้าวหน้า คุณสามารถเพิ่มความเข้มข้นสำหรับส่วนที่รับผิดชอบต่อรายละเอียดพื้นหน้าใน keyframes ที่ตามมา ในทางกลับกัน หากคุณต้องการให้คุณสมบัติบางอย่างจางหายไปในพื้นหลังเมื่อเวลาผ่านไป คุณสามารถลดความเข้มข้นของพวกมันใน keyframes ถัดไปได้ ระดับการควบคุมนี้มีประโยชน์อย่างยิ่งในการสร้างภาพที่เปลี่ยนแปลงหรือในโครงการที่ต้องการการควบคุมเวลาและความก้าวหน้าอย่างแม่นยำ

mask_optional: ใช้ attention masks เหมือนกับไฟสปอตไลท์ที่เน้นอิทธิพลของ ControlNet บนพื้นที่เฉพาะของภาพของคุณ ไม่ว่าจะเป็นการเน้นตัวละครในฉากหรือการเน้นองค์ประกอบพื้นหลัง Masks เหล่านี้สามารถใช้ได้อย่างสม่ำเสมอหรือเปลี่ยนความเข้มข้นได้ โดยนำความสนใจของ AI ไปยังที่ที่คุณต้องการอย่างแม่นยำ

start_percent: start_percent หมายถึงสัญญาณสำหรับเมื่อ keyframe ของคุณเข้ามามีบทบาท โดยวัดเป็นเปอร์เซ็นต์ของกระบวนการสร้างทั้งหมด การตั้งค่านี้เหมือนกับการกำหนดเวลาการเข้าของนักแสดงบนเวที เพื่อให้พวกเขาปรากฏตัวในช่วงเวลาที่เหมาะสมในการแสดง

strength: strength ให้การควบคุมระดับสูงต่ออิทธิพลโดยรวมของ ControlNet

null_latent_kf_strength: สำหรับนักแสดง (latents) ที่คุณไม่ได้กำหนดทิศทางในฉากนี้ (keyframe) null_latent_kf_strength ทำหน้าที่เป็นคำสั่งเริ่มต้น บอกพวกเขาว่าจะแสดงอย่างไรในพื้นหลัง มันรับประกันว่าจะไม่มีส่วนใดของการสร้างที่ถูกทิ้งไว้โดยไม่มีคำแนะนำ รักษาผลลัพธ์ที่สอดคล้องกันแม้ในพื้นที่ที่คุณไม่ได้ระบุอย่างชัดเจน

inherit_missing: การเปิดใช้งาน inherit_missing ช่วยให้ keyframe ปัจจุบันของคุณรับการตั้งค่าที่ไม่ได้ระบุจาก keyframe ก่อนหน้า เหมือนกับน้องชายที่ได้รับเสื้อผ้าจากพี่ มันเป็นทางลัดที่มีประโยชน์ที่รับประกันความต่อเนื่องและความสอดคล้องกันโดยไม่ต้องทำซ้ำคำแนะนำ

guarantee_usage: guarantee_usage เป็นการรับประกันของคุณว่าไม่ว่าอย่างไร keyframe ปัจจุบันจะมีโอกาสที่จะแสดงในกระบวนการ แม้ว่าจะเป็นเพียงช่วงสั้น ๆ มันรับประกันว่าทุก keyframe ที่คุณตั้งค่าจะมีผลกระทบ ยกย่องการวางแผนอย่างละเอียดของคุณในการนำทางกระบวนการสร้างสรรค์ของ AI

Timestep Keyframes เสนอโอกาสในการควบคุมกระบวนการสร้างสรรค์ของ AI อย่างละเอียด ช่วยให้คุณสร้างเรื่องราวหรือการเดินทางภาพได้ตามที่คุณจินตนาการไว้ พวกเขาเป็นเครื่องมือที่ทรงพลังในการจัดการการพัฒนาของภาพ โดยเฉพาะในภาพเคลื่อนไหว ตั้งแต่ฉากเปิดไปจนถึงการสรุปอย่างสมบูรณ์ นี่คือการดูอย่างใกล้ชิดว่า Timestep Keyframes สามารถนำไปใช้ในการจัดการการพัฒนาของภาพเคลื่อนไหวได้อย่างไร เพื่อให้การเปลี่ยนผ่านจากเฟรมแรกถึงเฟรมสุดท้ายเป็นไปอย่างราบรื่น ตรงกับเป้าหมายศิลปะของคุณอย่างสมบูรณ์แบบ

5. โมเดล ControlNet/T2IAdaptor ที่หลากหลาย: ภาพรวมรายละเอียด

เนื่องจากฟังก์ชันของโมเดล T2IAdaptor หลายตัวสอดคล้องกับ

5.1. ComfyUI ControlNet Openpose

• Openpose (=Openpose body): โมเดลพื้นฐานภายใน ControlNet ที่ระบุจุดสำคัญของร่างกายพื้นฐาน เช่น ตา จมูก คอ ไหล่ ข้อศอก ข้อมือ เข่า และข้อเท้า เหมาะสำหรับการจำลองท่าทางของมนุษย์พื้นฐาน
• Openpose_face: ขยายโมเดล OpenPose โดยเพิ่มการตรวจจับจุดสำคัญบนใบหน้า เสนอการวิเคราะห์รายละเอียดเพิ่มเติมของการแสดงออกทางใบหน้าและทิศทาง เหมาะสำหรับโครงการที่เน้นการแสดงออกทางใบหน้า
• Openpose_hand: เพิ่มความสามารถในการจับรายละเอียดที่ซับซ้อนของมือและนิ้ว โดยเน้นการจับการเคลื่อนไหวและตำแหน่งของมือ เหมาะสำหรับการเพิ่มความหลากหลายของ OpenPose ภายใน ControlNet
• Openpose_faceonly: โมเดลเฉพาะสำหรับรายละเอียดใบหน้าเท่านั้น โดยละเว้นจุดสำคัญของร่างกายเพื่อมุ่งเน้นการจับการแสดงออกและทิศทางของใบหน้า เหมาะสำหรับการทำงานที่เน้นเฉพาะคุณสมบัติใบหน้า
• Openpose_full: การรวมตัวของโมเดล OpenPose, OpenPose_face และ OpenPose_hand เสนอการตรวจจับร่างกายเต็มรูปแบบ ใบหน้า และมืออย่างสมบูรณ์ เหมาะสำหรับการจำลองท่าทางของมนุษย์ทั้งหมดภายใน ControlNet
• DW_Openpose_full: เวอร์ชันที่ปรับปรุงเพิ่มเติมของโมเดล OpenPose_full รวมการปรับแต่งเพิ่มเติมเพื่อการตรวจจับท่าทางที่ละเอียดและแม่นยำมากขึ้น เป็นตัวแทนของความแม่นยำสูงสุดในการตรวจจับท่าทางภายใน ControlNet

Preprocessor: Openpose หรือ DWpose

5.2. ComfyUI ControlNet Tile

โมเดล Tile Resample ใช้สำหรับการเพิ่มรายละเอียดในภาพ เหมาะสำหรับการใช้งานร่วมกับเครื่องเพิ่มความละเอียดเพื่อปรับปรุงความละเอียดของภาพขณะเพิ่มรายละเอียดเล็กน้อย มักใช้เพื่อเพิ่มความคมชัดและความละเอียดของพื้นผิวและองค์ประกอบภายในภาพ

Preprocessor: Tile

5.3. ComfyUI ControlNet Canny

โมเดล Canny ใช้อัลกอริทึมการตรวจจับขอบของ Canny ซึ่งเป็นกระบวนการหลายขั้นตอนในการตรวจจับขอบต่าง ๆ ในภาพ โมเดลนี้มีประโยชน์ในการรักษาด้านโครงสร้างของภาพในขณะที่ลดความซับซ้อนของการจัดองค์ประกอบภาพ เหมาะสำหรับงานศิลปะที่มีสไตล์หรือการเตรียมภาพก่อนการปรับแต่งเพิ่มเติม

Preprocessors: Canny

5.4. ComfyUI ControlNet Depth

โมเดล Depth แปลข้อมูลความลึกจากภาพ 2D เป็นแผนที่ความลึกสีเทา แต่ละเวอร์ชันเสนอบาลานซ์ที่แตกต่างกันระหว่างการจับรายละเอียดและการเน้นพื้นหลัง:

• Depth Midas: ให้การประเมินความลึกแบบคลาสสิก โดยบาลานซ์ระหว่างการจับรายละเอียดและการแสดงผลพื้นหลัง
• Depth Leres: เน้นการเพิ่มรายละเอียดด้วยแนวโน้มที่จะรวมองค์ประกอบพื้นหลังมากขึ้น
• Depth Leres++: เสนอระดับรายละเอียดที่สูงขึ้นสำหรับข้อมูลความลึก เหมาะสำหรับฉากที่ซับซ้อน
• Zoe: สร้างบาลานซ์ระหว่างโมเดล Midas และ Leres ในแง่ของระดับรายละเอียด
• Depth Anything: โมเดลใหม่ที่ปรับปรุงสำหรับการประเมินความลึก ออกแบบมาสำหรับฉากที่หลากหลาย
• Depth Hand Refiner: ออกแบบมาเฉพาะสำหรับการปรับปรุงรายละเอียดของมือในแผนที่ความลึก เหมาะสำหรับฉากที่ตำแหน่งมือมีความสำคัญ

Preprocessors: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner โมเดลนี้มีความทนทานสูงและสามารถทำงานกับแผนที่ความลึกจริงจากเครื่องเรนเดอร์

5.5. ComfyUI ControlNet Lineart

โมเดล Lineart แปลงภาพเป็นภาพลายเส้นที่มีสไตล์ เหมาะสำหรับการสร้างสรรค์ศิลปะหรือเป็นฐานสำหรับงานสร้างสรรค์เพิ่มเติม:

• Lineart: โมเดลมาตรฐานนี้แปลงภาพเป็นลายเส้นที่มีสไตล์ เสนอฐานที่หลากหลายสำหรับโครงการศิลปะหรือสร้างสรรค์ต่าง ๆ
• Lineart anime: เน้นการสร้างลายเส้นสไตล์อนิเมะที่มีเส้นสะอาดและแม่นยำ เหมาะสำหรับโครงการที่ต้องการลุคแบบอนิเมะ
• Lineart realistic: ผลิตลายเส้นที่มีความสมจริงมากขึ้น จับรายละเอียดของวัตถุได้อย่างแม่นยำ เหมาะสำหรับโครงการที่ต้องการการแสดงผลที่เป็นธรรมชาติ
• Lineart coarse: ให้ลายเส้นที่เด่นชัดมากขึ้นด้วยเส้นหนาและหนัก สร้างเอฟเฟกต์ที่โดดเด่น เหมาะสำหรับการแสดงออกทางศิลปะที่ชัดเจน

Preprocessor สามารถสร้างลายเส้นที่ละเอียดหรือหยาบจากภาพ (Lineart และ Lineart_Coarse)

5.6. ComfyUI ControlNet Scribbles

โมเดล Scribble ออกแบบมาเพื่อแปลงภาพให้มีลักษณะเหมือนการวาดเส้นดินสอ จำลองลักษณะของภาพสเก็ตช์ที่วาดด้วยมือ เหมาะสำหรับการรีสไตล์ศิลปะหรือเป็นขั้นตอนเริ่มต้นในกระบวนการออกแบบที่ใหญ่ขึ้น:

• Scribble: ออกแบบมาเพื่อแปลงภาพให้เป็นผลงานศิลปะที่มีลักษณะเหมือนการวาดเส้นดินสอหรือสเก็ตช์ด้วยมือ
• Scribble HED: ใช้การตรวจจับขอบแบบ Holistically-Nested Edge Detection (HED) เพื่อสร้างเส้นขอบที่เหมือนกับการวาดด้วยมือ เหมาะสำหรับการระบายสีใหม่และรีสไตล์ภาพ เพิ่มความเป็นศิลปะให้กับผลงาน
• Scribble Pidinet: เน้นการตรวจจับความแตกต่างของพิกเซลเพื่อสร้างเส้นที่สะอาดขึ้นและลดรายละเอียด ทำให้เหมาะสำหรับการแสดงผลที่ชัดเจนและเป็นแบบนามธรรม Scribble Pidinet เหมาะสำหรับผู้ที่ต้องการเส้นโค้งและขอบที่สะอาด ช่วยให้ได้ลุคที่เรียบร้อยขณะที่ยังคงรักษารายละเอียดสำคัญ
• Scribble xdog: ใช้วิธี Extended Difference of Gaussian (xDoG) สำหรับการตรวจจับขอบ ซึ่งช่วยให้สามารถปรับแต่งการตั้งค่าขีดจำกัดเพื่อปรับแต่งเอฟเฟกต์การวาดเส้นดินสอ ทำให้สามารถควบคุมระดับรายละเอียดในผลงานศิลปะได้ xDoG มีความหลากหลาย ช่วยให้ผู้ใช้สามารถปรับบาลานซ์ที่สมบูรณ์ในงานสร้างสรรค์ของพวกเขา

Preprocessors: Scribble, Scribble_HED, Scribble_PIDI, และ Scribble_XDOG

5.7. ComfyUI ControlNet Segmentation

โมเดล Segmentation แยกพิกเซลของภาพออกเป็นคลาสของวัตถุที่แตกต่างกัน แต่ละคลาสแทนด้วยสีเฉพาะ มีค่าสำหรับการระบุและการจัดการองค์ประกอบแต่ละส่วนในภาพ เช่น การแยกพื้นหน้าออกจากพื้นหลังหรือการแยกวัตถุเพื่อการแก้ไขรายละเอียด

• Seg: ออกแบบมาเพื่อแยกวัตถุในภาพตามสี แปลความแตกต่างเหล่านี้เป็นองค์ประกอบที่แตกต่างในผลลัพธ์ ตัวอย่างเช่น สามารถแยกเฟอร์นิเจอร์ในห้องออกแบบ ทำให้มีค่าสำหรับโครงการที่ต้องการการควบคุมองค์ประกอบและการแก้ไขภาพอย่างแม่นยำ
• ufade20k: ใช้โมเดล UniFormer segmentation ที่ฝึกบนชุดข้อมูล ADE20K สามารถแยกแยะประเภทวัตถุได้หลากหลายด้วยความแม่นยำสูง
• ofade20k: ใช้โมเดล OneFormer segmentation ที่ฝึกบน ADE20K เสนอวิธีการแยกวัตถุที่แตกต่างด้วยความสามารถในการแยกที่เป็นเอกลักษณ์
• ofcoco: ใช้โมเดล OneFormer segmentation ที่ฝึกบนชุดข้อมูล COCO เหมาะสำหรับภาพที่มีวัตถุที่จัดประเภทภายในพารามิเตอร์ของชุดข้อมูล COCO ช่วยในการระบุและการจัดการวัตถุอย่างแม่นยำ

Preprocessors ที่ยอมรับได้: Sam, Seg_OFADE20K (Oneformer ADE20K), Seg_UFADE20K (Uniformer ADE20K), Seg_OFCOCO (Oneformer COCO) หรือ masks ที่สร้างด้วยตนเอง

5.8. ComfyUI ControlNet Shuffle

โมเดล Shuffle แนะนำวิธีการใหม่โดยการสุ่มคุณลักษณะของภาพที่ป้อน เช่น สกีมสีหรือพื้นผิว โดยไม่เปลี่ยนแปลงองค์ประกอบ เหมาะสำหรับการสำรวจสร้างสรรค์และการสร้างรูปแบบต่าง ๆ ของภาพที่มีความสมบูรณ์ของโครงสร้างแต่มีการเปลี่ยนแปลงด้านรูปลักษณ์ ความสุ่มของมันทำให้แต่ละผลลัพธ์มีเอกลักษณ์ โดยได้รับอิทธิพลจากค่า seed ที่ใช้ในกระบวนการสร้าง

Preprocessors: Shuffle

5.9. ComfyUI ControlNet Inpainting

โมเดล Inpainting ภายใน ControlNet ช่วยให้สามารถแก้ไขภายในพื้นที่เฉพาะของภาพได้อย่างละเอียด รักษาความสมบูรณ์โดยรวมขณะนำเสนอการเปลี่ยนแปลงหรือการแก้ไขที่สำคัญ

ในการใช้ ControlNet Inpainting เริ่มต้นโดยการแยกพื้นที่ที่คุณต้องการสร้างใหม่ผ่านการ masking สามารถทำได้โดยการคลิกขวาที่ภาพที่ต้องการและเลือก "Open in MaskEditor" สำหรับการแก้ไข

ต่างจากการใช้งานอื่น ๆ ภายใน ControlNet Inpainting ข้ามความจำเป็นในการใช้ preprocessor เนื่องจากการแก้ไขโดยตรงที่นำไปใช้กับภาพ อย่างไรก็ตาม สิ่งสำคัญคือต้องส่งต่อภาพที่แก้ไขไปยัง latent space ผ่าน KSampler เพื่อให้แน่ใจว่าโมเดลการแพร่กระจายจะมุ่งเน้นเฉพาะการสร้างใหม่ของพื้นที่ที่ถูก masking รักษาความสมบูรณ์ของพื้นที่ที่ไม่ได้ masking

5.10. ComfyUI ControlNet MLSD

M-LSD (Mobile Line Segment Detection) เน้นการตรวจจับเส้นตรง เหมาะสำหรับภาพที่มีองค์ประกอบทางสถาปัตยกรรมที่แข็งแรง ภายในและรูปทรงเรขาคณิต ช่วยลดซีนให้เหลือโครงสร้างพื้นฐาน อำนวยความสะดวกในการสร้างสรรค์โครงการที่เกี่ยวข้องกับสภาพแวดล้อมที่มนุษย์สร้างขึ้น

Preprocessors: MLSD.

5.11. ComfyUI ControlNet Normalmaps

Normalmaps ช่วยให้สามารถจำลองเอฟเฟกต์แสงและพื้นผิวที่ซับซ้อนโดยการสร้างแบบจำลองทิศทางของพื้นผิวในซีนภาพ แทนที่จะพึ่งพาข้อมูลสีเพียงอย่างเดียว ซึ่งมีความสำคัญสำหรับงานการสร้างแบบจำลอง 3D และการจำลอง

• Normal Bae: วิธีนี้สร้าง normal maps โดยใช้วิธี normal uncertainty approach มันนำเสนอเทคนิคที่เป็นนวัตกรรมสำหรับการแสดงทิศทางของพื้นผิว เพิ่มการจำลองเอฟเฟกต์แสงตามเรขาคณิตทางกายภาพของซีนที่จำลองแทนที่จะใช้วิธีการที่พึ่งพาสีแบบดั้งเดิม
• Normal Midas: ใช้แผนที่ความลึกที่ผลิตโดยโมเดล Midas Normal Midas ประเมิน normal maps ได้อย่างแม่นยำ วิธีนี้ช่วยให้สามารถจำลองพื้นผิวและแสงได้อย่างละเอียดอ่อนตามข้อมูลความลึกของซีน เพิ่มความซับซ้อนทางภาพของโมเดล 3D

Preprocessors: Normal BAE, Normal Midas

5.12. ComfyUI ControlNet Soft Edge

ControlNet Soft Edge ถูกออกแบบมาเพื่อสร้างภาพที่มีขอบที่นุ่มนวลขึ้น เน้นการควบคุมรายละเอียดและรูปลักษณ์ที่เป็นธรรมชาติ ใช้เทคนิคเครือข่ายประสาทขั้นสูงเพื่อการควบคุมภาพที่แม่นยำมากขึ้น เสนอความอิสระในการสร้างสรรค์ที่มากขึ้นและความสามารถในการผสมผสานที่ไร้รอยต่อ

ความทนทาน: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

คุณภาพผลลัพธ์สูงสุด: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

เมื่อพิจารณาการแลกเปลี่ยนกัน เราแนะนำให้ใช้ SoftEdge_PIDI เป็นค่าเริ่มต้น ในกรณีส่วนใหญ่จะทำงานได้ดี

Preprocessors: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.

5.13. ComfyUI ControlNet IP2P (Instruct Pix2Pix)

โมเดล ControlNet IP2P (Instruct Pix2Pix) เป็นการปรับปรุงที่โดดเด่นภายในกรอบ ControlNet ที่ออกแบบมาเพื่อใช้ประโยชน์จากชุดข้อมูล Instruct Pix2Pix สำหรับการแปลงภาพ ControlNet รุ่นนี้แตกต่างจากที่อื่นโดยการสร้างสมดุลระหว่าง prompt คำแนะนำและ prompt คำอธิบายในระหว่างขั้นตอนการฝึกฝน ไม่เหมือนกับวิธีการทั่วไปใน Instruct Pix2Pix อย่างเป็นทางการ ControlNet IP2P ผสมผสาน prompt ประเภทเหล่านี้ในสัดส่วน 50/50 เพื่อเพิ่มความหลากหลายและประสิทธิภาพในการสร้างผลลัพธ์ตามที่ต้องการ

5.14. ComfyUI T2I Adapter

t2iadapter color: โมเดล t2iadapter_color ออกแบบมาเพื่อเพิ่มประสิทธิภาพการแสดงสีและความแม่นยำในภาพที่สร้างขึ้นเมื่อใช้โมเดลการแพร่กระจายข้อความเป็นภาพ โดยมุ่งเน้นการปรับแต่งสี โมเดลนี้ช่วยให้มีพาเลตสีที่แม่นยำและสดใสมากขึ้น สอดคล้องกับคำอธิบายที่ให้ไว้ใน prompt ข้อความ มีประโยชน์อย่างยิ่งสำหรับโครงการที่ความถูกต้องและความเฉพาะเจาะจงของสีมีความสำคัญ เพิ่มชั้นความสมจริงและรายละเอียดให้กับภาพที่สร้างขึ้น

t2iadapter style: โมเดล t2iadapter_style ม

5.14. ComfyUI T2I Adapter

t2iadapter color: โมเดล t2iadapter_color ออกแบบมาเพื่อเพิ่มประสิทธิภาพการแสดงสีและความแม่นยำในภาพที่สร้างขึ้นเมื่อใช้โมเดลการแพร่กระจายข้อความเป็นภาพ โดยมุ่งเน้นการปรับแต่งสี โมเดลนี้ช่วยให้มีพาเลตสีที่แม่นยำและสดใสมากขึ้น สอดคล้องกับคำอธิบายที่ให้ไว้ใน prompt ข้อความ มีประโยชน์อย่างยิ่งสำหรับโครงการที่ความถูกต้องและความเฉพาะเจาะจงของสีมีความสำคัญ เพิ่มชั้นความสมจริงและรายละเอียดให้กับภาพที่สร้างขึ้น

t2iadapter style: โมเดล t2iadapter_style มุ่งเน้นที่ด้านสไตล์ของการสร้างภาพ ช่วยให้สามารถปรับเปลี่ยนและควบคุมสไตล์ศิลปะของภาพที่สร้างขึ้นได้ Adapter นี้ช่วยให้ผู้ใช้สามารถนำทางโมเดลการแพร่กระจายข้อความเป็นภาพไปสู่การสร้างภาพที่สอดคล้องกับสไตล์ศิลปะหรือความสวยงามที่เฉพาะเจาะจงที่อธิบายไว้ใน prompt ข้อความ เป็นเครื่องมือที่มีค่าสำหรับโครงการสร้างสรรค์ที่สไตล์ของภาพมีบทบาทสำคัญ ช่วยให้สามารถผสมผสานสไตล์ศิลปะแบบดั้งเดิมกับความสามารถของ AI สมัยใหม่ได้อย่างลงตัว

5.15. ControlNet ยอดนิยมอื่น ๆ: QRCode Monster และ IP-Adapter

สำหรับส่วนนี้เราจะอุทิศบทความแยกต่างหากเพื่อให้คำแนะนำอย่างละเอียด เนื่องจากมีข้อมูลจำนวนมากที่เราต้องการแบ่งปัน

6. วิธีการใช้ ControlNets หลายตัวใน ComfyUI

การใช้ ControlNets หลายตัวใน ComfyUI เกี่ยวข้องกับกระบวนการการซ้อนหรือการเชื่อมโยงโมเดล ControlNet เพื่อปรับแต่งการสร้างภาพด้วยการควบคุมที่ละเอียดอ่อนมากขึ้นในด้านต่าง ๆ เช่น ท่าทาง รูปร่าง สไตล์ และสี

คุณสามารถสร้าง workflow ของคุณโดยการใช้ ControlNet (เช่น OpenPose) และจากนั้นป้อน output ของมันเข้าสู่ ControlNet อื่น (เช่น Canny) การใช้ซ้อนแบบนี้ช่วยให้สามารถปรับแต่งภาพได้อย่างละเอียด ที่แต่ละ ControlNet ใช้การแปลงหรือการควบคุมเฉพาะของมัน กระบวนการนี้ช่วยให้คุณสามารถควบคุมผลลัพธ์สุดท้ายได้อย่างละเอียดอ่อน รวมหลายแง่มุมที่ถูกนำทางโดย ControlNets ที่แตกต่างกัน

🌟🌟🌟 ComfyUI Online - สัมผัสประสบการณ์ ControlNet Workflow ตอนนี้ 🌟🌟🌟

หากคุณสนใจที่จะสำรวจ ControlNet workflow ใช้ ComfyUI web ต่อไปนี้ ซึ่งมาพร้อมกับ customer nodes และโมเดลที่จำเป็นทั้งหมด ช่วยให้คุณสร้างสรรค์ได้อย่างราบรื่นโดยไม่ต้องตั้งค่าด้วยตนเอง เริ่มต้นการทดลองกับฟีเจอร์ของ ControlNet ทันที หรืออ่านต่อในบทเรียนนี้เพื่อเรียนรู้วิธีการใช้ ControlNet อย่างมีประสิทธิภาพ

สำหรับ ComfyUI workflows ขั้นสูงและพรีเมียมเพิ่มเติม เยี่ยมชม 🌟ComfyUI Workflow List🌟