Updated: 5/27/2024
ยินดีต้อนรับ! ในคู่มือนี้ เรามาสำรวจคุณสมบัติที่น่าตื่นเต้นของ ComfyUI IPAdapter Plus หรือที่รู้จักในชื่อ ComfyUI IPAdapter V2
IPAdapter models มีความสามารถสูงในการปรับแต่งภาพต่อภาพ ทำให้สามารถถ่ายโอนหัวข้อหรือสไตล์ของภาพอ้างอิงไปยังผลงานใหม่ได้อย่างง่ายดาย คิดว่ามันเหมือนกับ 1-image LoRA
การแนะนำ IPAdapter Plus (IPAdapter V2) ได้นำคุณสมบัติใหม่มากมายที่มีเป้าหมายเพื่อปรับปรุงกระบวนการรวมโมเดล เพิ่มความสะดวกในการใช้งาน และขยายความเป็นไปได้ในการสร้างสรรค์
สิ่งสำคัญที่ต้องทราบคือ การอัปเกรดเป็น ComfyUI IPAdapter Plus (IPAdapter V2) จะทำให้เวิร์กโฟลว์ก่อนหน้านี้ของคุณที่พึ่งพา ComfyUI IPAdapter V1 node ไม่สามารถใช้งานได้ ดังนั้น คุณจะต้องสร้างโปรเจ็กต์ของคุณใหม่โดยใช้ ComfyUI IPAdapter Plus
เราจะครอบคลุม:
หากคุณสนใจสำรวจเวิร์กโฟลว์ ComfyUI IPAdapter Plus (IPAdapter V2) ใช้เว็บ ComfyUI ต่อไปนี้ มาพร้อมกับลูกค้าทั้งหมดที่จำเป็นและโมเดลที่จำเป็น ทำให้การสร้างสรรค์เป็นไปอย่างราบรื่นโดยไม่ต้องตั้งค่าด้วยตนเอง เริ่มต้นการใช้งานโดยทันที หรือดำเนินการต่อกับบทเรียนนี้เพื่อเรียนรู้วิธีการใช้ IPAdapter Plus อย่างมีประสิทธิภาพ
อินพุต "Model" และ "IPAdapter" ของ node "IPAdapter" เชื่อมต่อกับเอาต์พุตของ node "IPAdapter Unified Loader" ที่นี่ คุณสามารถเลือกจากโมเดล IPAdapter ต่าง ๆ ที่ออกแบบมาเพื่อตอบสนองความต้องการที่แตกต่างกัน:
อินพุต "Image" ของ node "IPAdapter" เป็นภาพอ้างอิงที่ใช้ในการปรับแต่งภาพต่อภาพ นี่คือที่ที่ node "IPAdapter" ใช้ความสามารถในการเปลี่ยนแปลง เปลี่ยนแปลงภาพอ้างอิงตามพารามิเตอร์ที่กำหนดและความสามารถของโมเดล ในกระบวนการนี้ จะสร้างภาพใหม่ที่สืบทอดลักษณะจากภาพอ้างอิงและผสมผสานกับความสามารถในการสร้างสรรค์ของโมเดล IPAdapter
ด้วย "Attn Mask" คุณสามารถเน้นพื้นที่เฉพาะของภาพสำหรับการประมวลผลที่มุ่งเน้นหรือเพื่อชี้นำความสนใจของโมเดล เพิ่มหรือลักษณะบางอย่างของภาพในขณะที่ชี้นำความสนใจของโมเดล
พารามิเตอร์ "Weight" ปรับความเข้มของการปรับแต่งที่ใช้; ค่าที่สูงขึ้นจะนำไปสู่ผลกระทบที่ชัดเจนกว่า ในขณะที่ค่าที่ต่ำกว่าจะทำให้การเปลี่ยนแปลงเบาลง
พารามิเตอร์ "Start At" และ "End At" กำหนดขั้นตอนเริ่มต้นและสิ้นสุดที่มีการใช้ผลกระทบของ IPAdapter ให้การควบคุมกระบวนการ
"Weight Type" สำหรับการใช้ weight ผ่านขั้นตอนการประมวลผลมีความหลากหลาย แต่ละแบบมีผลต่อเอาต์พุตในลักษณะเฉพาะ:
เมื่อทำงานกับ SDXL models, โมเดล IPAdapter Plus จะรวมเข้ากับและปรับตัวอัตโนมัติตามลักษณะของโมเดล SDXL อย่างไรก็ตาม จำเป็นต้องปรับขนาด latent ให้เหมาะสมเพื่อให้สอดคล้องกับข้อกำหนดของโมเดล SDXL
การเสนอชุดคุณสมบัติที่ครอบคลุมมากขึ้น ComfyUI IPAdapter Advanced node ช่วยเพิ่มการควบคุมกระบวนการสร้างภาพผ่านพารามิเตอร์เช่น "Image Negative", "CLIP Vision", "Combine Embeds", และตัวเลือกเพิ่มเติมของ "Weight Type", ทำให้ภาพใกล้เคียงกับวิสัยทัศน์สร้างสรรค์ของคุณมากขึ้น
พารามิเตอร์ "Image Negative" ช่วยให้คุณกำหนดสิ่งที่คุณไม่ต้องการให้ปรากฏในภาพสุดท้าย ด้วยการระบุตัวอย่างเชิงลบ โมเดลจะถูกชี้นำออกจากองค์ประกอบที่ไม่ต้องการ นำไปสู่ผลลัพธ์ที่น่าพึงพอใจมากขึ้น ฟีเจอร์นี้มีความสำคัญในการหลีกเลี่ยงธีม วัตถุ หรือรูปแบบเฉพาะในภาพที่สร้างขึ้น ทำให้เอาต์พุตเป็นไปตามความต้องการของคุณ
ใน node "IPAdapter Advanced" คุณจะพบอินพุต "CLIP Vision" นี่เชื่อมต่อกับเอาต์พุตของ node "Load CLIP Vision" ที่คุณสามารถเลือกจากโมเดล CLIP-ViT ต่าง ๆ
ความแตกต่างหลักระหว่าง CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors และ CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors อยู่ที่ขนาดและความสามารถในการจัดการความซับซ้อน โดยที่ตัวหลังมีขนาดใหญ่กว่า 39 พันล้านพารามิเตอร์ ซึ่งบ่งบอกว่ามันสามารถตีความความสัมพันธ์ระหว่างข้อความและภาพได้มากกว่าตัวแรกที่มี 32 พันล้านพารามิเตอร์
เมื่อเปรียบเทียบกับ node "IPAdapter" node "IPAdapter Advanced" เปิดตัวเลือกเพิ่มเติมสำหรับ "weight type" แต่ละแบบมีผลต่อเอาต์พุตในลักษณะเฉพาะ:
ฟีเจอร์ "Combine Embeds" มีความสำคัญสำหรับผู้ที่ต้องการรวมอินพุตจากหลายแหล่งเข้าด้วยกันเป็นผลลัพธ์ภาพเดียวที่สอดคล้องกัน โดยการใช้ "Combine Embeds" คุณมีความยืดหยุ่นในการสร้างภาพที่รวมเอาอิทธิพลทางศิลปะและแรงบันดาลใจหลากหลาย ผลลัพธ์ที่ได้คือการสร้างสรรค์ที่มีความเป็นส่วนตัวและนวัตกรรมอย่างแท้จริง วิธีการที่มีให้ในการรวม embeds เช่น Concat, Add, Subtract, Average, และ Norm Average เสนอวิธีการที่หลากหลายในการรวมอิทธิพลเหล่านี้ สิ่งเหล่านี้จะถูกสำรวจในรายละเอียดในส่วนที่ 4, "ComfyUI IPAdapter Image Merge Feature."
ในการกำหนดค่าที่กล่าวถึงข้างต้น คุณอาจสังเกตเห็นการขาดหายไปของโมเดล FaceID ในการรวมโมเดล Face ID เข้ากับเวิร์กโฟลว์ของคุณ จำเป็นต้องใช้ node เฉพาะสองตัวคือ "IPAdapter Unified Loader FaceID" Node และ "IPAdapter FaceID" Node
เมื่อทำงานภายใน node "IPAdapter Unified Loader FaceID" คุณสามารถเลือก "Face ID Plus V2" ล่าสุดจากเมนูดรอปดาวน์ของโมเดลที่มีอยู่ การกระทำนี้สั่งให้ loader รวบรวมและเตรียมทุกอย่างที่จำเป็นเฉพาะสำหรับโมเดล Face ID Plus V2 โดยอัตโนมัติ
เลือก CPU เป็น Provider แม้ว่าจะมี GPU ประสิทธิภาพสูงที่พร้อมใช้งาน ขอแนะนำให้กำหนดค่าโมเดล Face ID ให้ใช้ CPU เป็น provider การแนะนำนี้มาจากประโยชน์ในการรักษา Video RAM (VRAM) ที่มีค่า ซึ่งเป็นกลยุทธ์ที่พิสูจน์แล้วว่ามีประโยชน์และช่วยเพิ่มประสิทธิภาพและประสิทธิผลของการจัดสรรทรัพยากรในโปรเจ็กต์ของคุณ
จะใช้ภาพอ้างอิงหลายภาพเพื่อสร้างภาพใหม่ได้อย่างไร? นี่คือสองวิธีในการทำเช่นนี้ด้วย ComfyUI's IPAdapter Plus ที่ให้คุณมีความยืดหยุ่นและการควบคุมที่จำเป็นสำหรับการสร้างภาพเชิงสร้างสรรค์
ในการเริ่มต้นด้วย node "Batch Image" คุณต้องเลือกภาพที่คุณต้องการรวมก่อน ภาพเหล่านี้จะถูกป้อนเข้าสู่ node เพื่อสร้าง batch ที่รวมกัน จากนั้น batch นี้จะถูกนำเข้าสู่ pipeline ของ IPAdapter โดยใช้แต่ละภาพตามลำดับในกระบวนการสร้างภาพ
node "IPAdapter Advanced" แนะนำตัวเลือก "Combine Embeds" ให้คุณควบคุมอย่างละเอียดเกี่ยวกับวิธีที่ภาพหลายภาพมีอิทธิพลต่อการสร้าง ตัวเลือกเหล่านี้—Concat, Add, Subtract, Average, และ Norm Average—กำหนดวิธีการรวม embeddings จากภาพต่าง ๆ นำไปสู่ผลลัพธ์ที่ไม่เหมือนใคร:
ในภาพต่อไปนี้ โดยการใช้ "Combine Embeds" ที่แตกต่างกัน คุณจะได้ผลลัพธ์ที่ต่างกัน
สำหรับผู้ที่ต้องการควบคุมอย่างละเอียดเกี่ยวกับวิธีที่ภาพอ้างอิงมีน้ำหนักในภาพสุดท้าย IPAdapter มอบโซลูชันผ่านการใช้ "IPAdapter Encoder" nodes และ "IPAdapter Combine Embeds" node
แต่ละภาพในกระบวนการรวมจะถูกประมวลผลผ่าน node IPAdapter encoder ซึ่งจะเข้ารหัสภาพให้เข้ากันได้กับ IPAdapter ภายใน "IPAdapter Encoder" nodes ผู้ใช้สามารถกำหนดน้ำหนักเฉพาะให้กับแต่ละภาพ กำหนดอิทธิพลของภาพเหล่านั้นต่อผลลัพธ์ที่รวมกัน การปรับน้ำหนักเหล่านี้ช่วยให้สามารถควบคุมได้อย่างละเอียดเกี่ยวกับการเด่นหรือเบาของแต่ละภาพในองค์ประกอบ
หลังจากเข้ารหัสภาพและตั้งค่าน้ำหนักแล้ว node "IPAdapter Combine Embeds" จะรวมการแสดงผลที่เข้ารหัสของพวกเขา มันรวม embeds เชิงบวกจาก encoder nodes สะท้อนถึงอิทธิพลที่ตั้งใจของแต่ละภาพในองค์ประกอบที่รวมกัน การ embedding ที่สมดุลนี้พร้อมสำหรับการสังเคราะห์
การ embedding ที่สังเคราะห์สุดท้ายจะถูกประมวลผลโดย IP Adapter เพื่อสร้างภาพใหม่ แม้ว่าการเชื่อมต่อ embeds เชิงลบจะเป็นทางเลือก การกระทำนี้ช่วยประหยัดทรัพยากรการประมวลผล การเลือก embeds เชิงลบใด ๆ จาก encoder nodes และเชื่อมโยงกับ IPAdapter node จะช่วยเพิ่มประสิทธิภาพ ลดการประมวลผลที่ไม่จำเป็นและทำให้กระบวนการรวมเป็นไปอย่างราบรื่น
โดยการทำตามวิธีเหล่านี้ คุณสามารถรวมภาพหลายภาพเพื่อสร้างองค์ประกอบใหม่เชิงสร้างสรรค์ที่ใช้ความสามารถของ ComfyUI IPAdapter Plus อย่างเต็มที่!
เมื่อประมวลผลภาพสูง คุณอาจพบปัญหาเฉพาะ: ตัวเข้ารหัส CLIP Vision ซึ่งเป็นส่วนประกอบหลักของกรอบการทำงาน IPAdapter มีความชอบภาพสี่เหลี่ยมจัตุรัสโดยธรรมชาติ ความชอบนี้สามารถนำไปสู่ปัญหาการครอบตัดเมื่อเชื่อมต่อภาพสูงโดยตรงกับ node IPAdapter โดยทั่วไปแล้วจะทำให้เฉพาะส่วนกลางของภาพมีอิทธิพลต่อผลลัพธ์ ดังนั้น ส่วนบนและส่วนล่างของภาพของคุณอาจถูกเพิกเฉย ส่งผลต่อคุณภาพโดยรวมของเนื้อหาที่สร้างขึ้น
เพื่อแก้ไขปัญหานี้ node "IPAdapter Tiled" เสนอวิธีการที่กำหนดเอง มันช่วยให้สามารถเชื่อมต่อภาพสูงได้โดยตรงโดยการแบ่งภาพออกเป็น tiles ขนาดเล็กที่จัดการได้ วิธีนี้ทำให้แน่ใจว่าทุกส่วนของภาพอ้างอิงของคุณจะถูกนำมาพิจารณาในระหว่างกระบวนการสร้างภาพ หลีกเลี่ยงปัญหาการละเลยภาพบางส่วน
ฟีเจอร์เพิ่มเติมของ node "IPAdapter Tiled" คือ tiles และ masks output ซึ่งให้การแสดงภาพของวิธีที่ภาพของคุณถูกประมวลผล ฟีเจอร์นี้แสดง tiles ที่ใช้และ masks ที่เกี่ยวข้อง ทำให้คุณมีข้อมูลเชิงลึกเกี่ยวกับการทำงานภายในของกระบวนการสร้างภาพ การเข้าใจวิธีที่ภาพของคุณถูกแบ่งและประมวลผลสามารถช่วยให้คุณทำการปรับเปลี่ยนที่มีข้อมูลเพื่อให้ได้ผลลัพธ์ที่ต้องการ
นอกจากนี้ node "IPAdapter Tiled" ยังช่วยให้สามารถปรับแต่ง masks ได้อย่างยืดหยุ่น เสนอความยืดหยุ่นในการเน้นหรือมุ่งเน้นในส่วนเฉพาะของภาพของคุณ โดยการปรับแต่ง masks เหล่านี้ คุณสามารถกำหนดความสนใจไปที่องค์ประกอบเฉพาะของภาพสูงของคุณ ทำให้มีการควบคุมผลลัพธ์ได้มากขึ้น ฟีเจอร์นี้มีค่าในการเน้นหรือย่อบางองค์ประกอบภายในภาพของคุณ ทำให้เนื้อหาที่สร้างขึ้นตรงกับวิสัยทัศน์ของคุณอย่างแม่นยำ
ดังนั้น การรวม node "IPAdapter Tiled" เข้ากับ ComfyUI IPAdapter Plus ช่วยปรับปรุงความสามารถของคุณในการจัดการโครงการปรับแต่งภาพที่เกี่ยวข้องกับภาพสูงอย่างมาก
วิธีการใช้ ComfyUI IPAdapter Plus เพื่อจัดการและรวมสไตล์และองค์ประกอบของภาพอ้างอิงเพื่อสร้างภาพใหม่ที่น่าสนใจ ComfyUI IPAdapter Plus นำเสนอเครื่องมือที่ทรงพลังสำหรับศิลปินและนักออกแบบในการทดลองใช้ รวมถึงความสามารถในการถ่ายโอนสไตล์ของภาพหนึ่ง รักษาองค์ประกอบของอีกภาพ หรือแม้แต่รวมทั้งสไตล์และองค์ประกอบจากอ้างอิงต่าง ๆ เข้าด้วยกันในภาพเดียว
ในการถ่ายโอนสไตล์ของภาพอ้างอิง เช่น 1-image LoRA ไปยังเนื้อหาเป้าหมายของคุณโดยใช้ ComfyUI IPAdapter Advanced node ทำตามขั้นตอนเหล่านี้:
การตั้งค่า "IPAdapter Advanced" Node: เริ่มต้นด้วยการรวม node "IPAdapter Advanced" เข้ากับเวิร์กโฟลว์ของคุณ
การกำหนดค่า Node: ภายในการตั้งค่าของ ComfyUI IPAdapter Advanced node ค้นหาตัวเลือก "Weight Type" ใช้เมนูดรอปดาวน์เพื่อเลือก "Style Transfer (SDXL)" การกำหนดค่านี้ชี้นำ adapter ให้เน้นการถ่ายโอนสไตล์ภาพอ้างอิงของคุณไปยังเป้าหมาย
การปรับ "Weight" ของการถ่ายโอนสไตล์: การตั้งค่า "weight" กำหนดความแรงของการถ่ายโอนสไตล์ การเพิ่มค่านี้จะเพิ่มอิทธิพลของสไตล์ภาพอ้างอิงในภาพเป้าหมายของคุณ ทำให้ผลกระทบชัดเจนขึ้น
ในการรักษาองค์ประกอบของภาพอ้างอิงในขณะที่สร้างภาพใหม่ คุณจะใช้ ComfyUI IPAdapter Advanced node แต่ด้วยการตั้งค่าที่แตกต่างกัน:
การตั้งค่า "IPAdapter Advanced" Node: เช่นเดียวกับก่อนหน้า เพิ่ม node IPAdapter Advanced เข้ากับเวิร์กโฟลว์ของคุณ
การกำหนดค่า Node: เลือก "Composition (SDXL)" จากเมนูดรอปดาวน์ "Weight Type" การกำหนดค่านี้ชี้นำ adapter ให้รักษาองค์ประกอบของภาพอ้างอิงในภาพใหม่
การปรับ "Weight" ขององค์ประกอบ: ปรับการตั้งค่า "weight" เพื่อมีอิทธิพลต่อการใกล้เคียงของภาพใหม่กับองค์ประกอบของภาพอ้างอิง ค่าที่สูงขึ้นจะทำให้ภาพใหม่รักษาองค์ประกอบของภาพอ้างอิงอย่างเข้มงวดขึ้น
สำหรับโครงการที่ต้องการทั้งสไตล์ของภาพหนึ่งและองค์ประกอบของอีกภาพ node "IPAdapter style & composition SDXL" เสนอวิธีการที่ง่ายขึ้น:
เลือก "IPAdapter Style & Composition SDXL" Node: เพิ่ม node เฉพาะนี้ในโปรเจ็กต์ของคุณเพื่อจัดการทั้งการถ่ายโอนสไตล์และองค์ประกอบพร้อมกัน
โหลดสไตล์และองค์ประกอบอ้างอิง: node "IPAdapter Style & Composition SDXL" ช่วยให้มีอินพุตสองตัว หนึ่งสำหรับภาพที่คุณต้องการถ่ายโอนสไตล์และอีกหนึ่งสำหรับภาพที่คุณต้องการรักษาองค์ประกอบ โหลดอ้างอิงทั้งสองตามความเหมาะสม
การกำหนดค่า "Weights" สำหรับทั้งสไตล์และองค์ประกอบ: node "IPAdapter Style & Composition SDXL" มีการตั้งค่า weight แยกต่างหากสำหรับสไตล์และองค์ประกอบ ปรับ weights เหล่านี้เพื่อสมดุลอิทธิพลของแต่ละอ้างอิงในภาพสุดท้าย การตั้งค่า weight ที่สูงขึ้นสำหรับสไตล์หรือองค์ประกอบจะทำให้ความสำคัญในภาพที่สร้างขึ้น
โดยการทำตามขั้นตอนเหล่านี้และทดลองกับการตั้งค่า คุณสามารถใช้ ComfyUI IPAdapter Plus เพื่อสร้างภาพที่น่าทึ่งที่รวมเอาสไตล์ที่โดดเด่นของงานศิลปะหนึ่งชิ้นกับองค์ประกอบที่รอบคอบของอีกชิ้น
หากคุณสนใจสำรวจเวิร์กโฟลว์ ComfyUI IPAdapter Plus (IPAdapter V2) ใช้เว็บ ComfyUI ต่อไปนี้ มาพร้อมกับลูกค้าทั้งหมดที่จำเป็นและโมเดลที่จำเป็น ทำให้การสร้างสรรค์เป็นไปอย่างราบรื่นโดยไม่ต้องตั้งค่าด้วยตนเอง เริ่มต้นการใช้งานโดยทันที!
© ลิขสิทธิ์ 2024 RunComfy. สงวนลิขสิทธิ์