AnimateDiff + ControlNet + IPAdapter V1 | สไตล์อนิเมะญี่ปุ่น

กระบวนการนี้ได้รับแรงบันดาลใจจาก enigmatic_e พร้อมการปรับเปลี่ยนบางอย่าง สำหรับข้อมูลเพิ่มเติม โปรดเยี่ยมชมช่อง YouTube ของเขา

1. ComfyUI Workflow: AnimateDiff + ControlNet + IPAdapter | สไตล์อนิเมะญี่ปุ่น

กระบวนการนี้ช่วยให้คุณแปลงวิดีโอมาตรฐานให้กลายเป็นผลงานอนิเมะญี่ปุ่นที่น่าหลงใหลโดยใช้ AnimateDiff, ControlNet และ IPAdapter รู้สึกอิสระที่จะทดลองกับจุดตรวจต่างๆ การตั้งค่า LoRA และภาพอ้างอิงสำหรับ IPAdapter เพื่อสร้างสไตล์ที่เป็นเอกลักษณ์ของคุณเอง มันเป็นวิธีที่สนุกและสร้างสรรค์ในการนำวิดีโอของคุณมามีชีวิตในโลกอนิเมะ!

2. ภาพรวมของ AnimateDiff

โปรดตรวจสอบรายละเอียดที่ วิธีใช้ AnimateDiff ใน ComfyUI

3. วิธีใช้ ControlNet

3.1. ความเข้าใจเกี่ยวกับ ControlNet

ControlNet ปฏิวัติวิธีที่เราสร้างภาพด้วยการนำเสนอการควบคุมเชิงพื้นที่ขั้นสูงให้กับโมเดลการแพร่กระจายข้อความถึงภาพ สถาปัตยกรรมเครือข่ายประสาทนี้ร่วมมือกับยักษ์ใหญ่อย่าง Stable Diffusion โดยใช้ห้องสมุดที่กว้างขวางซึ่งสร้างจากภาพนับพันล้านเพื่อสานความละเอียดอ่อนเชิงพื้นที่ลงในเนื้อหาของการสร้างภาพ จากการร่างขอบ การทำแผนที่ท่าทางมนุษย์ การรับรู้ความลึก หรือการแบ่งภาพ ControlNet ช่วยให้คุณสามารถปั้นภาพในแบบที่เกินกว่าขอบเขตของข้อความเพียงอย่างเดียว

3.2. นวัตกรรมของ ControlNet

ที่แก่นของมัน ControlNet เป็นสิ่งที่เรียบง่ายอย่างชาญฉลาด มันเริ่มต้นด้วยการรักษาความสมบูรณ์ของพารามิเตอร์โมเดลดั้งเดิม โดยรักษาการฝึกอบรมพื้นฐานไว้ จากนั้น ControlNet แนะนำชุดกระจกของเลเยอร์การเข้ารหัสของโมเดล แต่ด้วยการบิด: พวกมันถูกฝึกโดยใช้ "zero convolutions" การเริ่มต้นด้วยศูนย์เหล่านี้หมายความว่าเลเยอร์จะค่อยๆ พับในเงื่อนไขเชิงพื้นที่ใหม่โดยไม่ก่อให้เกิดความวุ่นวาย เพื่อให้แน่ใจว่าความสามารถดั้งเดิมของโมเดลจะได้รับการเก็บรักษาไว้แม้ในขณะที่มันเริ่มเรียนรู้เส้นทางใหม่

3.3. ความเข้าใจ ControlNets และ T2I-Adapters

ทั้ง ControlNets และ T2I-Adapters มีบทบาทสำคัญในการปรับสภาพการสร้างภาพ โดยแต่ละตัวมีข้อดีที่แตกต่างกัน T2I-Adapters มีชื่อเสียงในด้านความมีประสิทธิภาพ โดยเฉพาะในแง่ของการเร่งกระบวนการสร้างภาพ แม้จะเป็นเช่นนี้ ControlNets ไม่มีใครเทียบได้ในความสามารถในการนำกระบวนการสร้างอย่างละเอียด ทำให้พวกเขาเป็นเครื่องมือที่ทรงพลังสำหรับผู้สร้าง

เมื่อพิจารณาถึงการทับซ้อนกันในฟังก์ชันระหว่างโมเดล T2I-Adapter และ ControlNet หลายตัว การสนทนาของเราจะมุ่งเน้นไปที่ ControlNets เป็นหลัก อย่างไรก็ตาม ควรสังเกตว่าแพลตฟอร์ม RunComfy ได้โหลดโมเดล T2I-Adapter หลายตัวไว้ล่วงหน้าเพื่อความสะดวกในการใช้งาน สำหรับผู้ที่สนใจทดลองกับ T2I-Adapters คุณสามารถโหลดโมเดลเหล่านี้และรวมเข้ากับโครงการของคุณได้อย่างราบรื่น

การเลือกใช้ ControlNet และ T2I-Adapter โมเดลใน ComfyUI ไม่ส่งผลต่อการใช้ ControlNet nodes หรือความสม่ำเสมอของกระบวนการ ความเป็นเอกภาพนี้ทำให้มั่นใจได้ว่ากระบวนการที่ราบรื่น ช่วยให้คุณใช้ประโยชน์จากข้อดีที่เป็นเอกลักษณ์ของแต่ละประเภทโมเดลตามความต้องการของโครงการของคุณ

3.4. การใช้ ControlNet Nodes

3.4.1. การโหลด "Apply ControlNet" Node

เพื่อเริ่มต้น คุณจะต้องโหลด "Apply ControlNet" Node เข้าไปใน ComfyUI ของคุณ นี่เป็นขั้นตอนแรกของคุณสู่การสร้างภาพที่มีการปรับสภาพสองเท่า ผสมผสานองค์ประกอบภาพกับข้อความ

3.4.2. ความเข้าใจเกี่ยวกับ Input ของ "Apply ControlNet" Node

Positive and Negative Conditioning: สิ่งเหล่านี้คือเครื่องมือของคุณในการสร้างภาพสุดท้าย—สิ่งที่มันควรยอมรับและสิ่งที่มันควรหลีกเลี่ยง เชื่อมต่อสิ่งเหล่านี้กับช่อง "Positive prompt" และ "Negative prompt" เพื่อซิงค์กับส่วนข้อความของทิศทางการสร้างสรรค์ของคุณ

การเลือก ControlNet Model: คุณจะต้องเชื่อมต่อ input นี้กับ output ของ node "Load ControlNet Model" นี่คือที่ที่คุณตัดสินใจว่าจะใช้โมเดล ControlNet หรือ T2IAdaptor ตามลักษณะเฉพาะหรือสไตล์ที่คุณต้องการ แม้ว่าเราจะมุ่งเน้นไปที่โมเดล ControlNet การกล่าวถึง T2IAdaptors ที่เป็นที่ต้องการบางตัวก็มีความคุ้มค่าที่จะทำเพื่อให้มีมุมมองที่ครบถ้วน

การประมวลผลภาพของคุณก่อนใช้: เชื่อมต่อภาพของคุณกับ node "ControlNet Preprocessor" ซึ่งเป็นสิ่งสำคัญเพื่อให้แน่ใจว่าภาพของคุณพร้อมสำหรับ ControlNet การจับคู่ preprocessor กับโมเดล ControlNet ของคุณเป็นสิ่งสำคัญ ขั้นตอนนี้ปรับภาพดั้งเดิมของคุณให้ตรงกับความต้องการของโมเดลอย่างสมบูรณ์—การปรับขนาด การเปลี่ยนสี หรือการใช้ฟิลเตอร์ที่จำเป็น—เพื่อเตรียมมันให้พร้อมสำหรับการใช้โดย ControlNet

3.4.3. ความเข้าใจเกี่ยวกับ Output ของ "Apply ControlNet" Node

หลังจากการประมวลผล Node "Apply ControlNet" นำเสนอคุณด้วยสอง output ที่สะท้อนการเล่นกันอย่างซับซ้อนของ ControlNet และการป้อนข้อมูลสร้างสรรค์ของคุณ: Positive and Negative Conditioning Output เหล่านี้นำทางโมเดลการแพร่กระจายใน ComfyUI นำคุณไปสู่การเลือกครั้งต่อไป: ปรับแต่งภาพโดยใช้ KSampler หรือดำน้ำลึกลงไปโดยการซ้อน ControlNets เพิ่มเติมสำหรับผู้ที่ต้องการรายละเอียดและการปรับแต่งที่ไม่มีใครเทียบได้

3.4.4. การปรับ "Apply ControlNet" เพื่อผลลัพธ์ที่ดีที่สุด

การกำหนดความแข็งแรง: การตั้งค่านี้ควบคุมว่า ControlNet จะมีอิทธิพลต่อภาพที่ได้มากน้อยเพียงใด การตั้งค่าเต็มที่ 1.0 หมายถึงการป้อนข้อมูลของ ControlNet มีอำนาจเต็มที่ ขณะที่ลดลงไปที่ 0.0 จะปล่อยให้โมเดลทำงานโดยไม่มีอิทธิพลของ ControlNet

การปรับ Start Percent: สิ่งนี้บอกคุณว่าเมื่อไหร่ ControlNet จะเริ่มมีส่วนร่วมในกระบวนการแพร่กระจาย ตัวอย่างเช่น การเริ่มต้นที่ 20% หมายถึงจากหนึ่งในห้าของทาง ControlNet จะเริ่มมีบทบาท

การตั้งค่า End Percent: สิ่งนี้เป็นด้านกลับของ Start Percent บอกว่าเมื่อไหร่ ControlNet จะถอนตัวออก หากคุณตั้งค่าไว้ที่ 80% อิทธิพลของ ControlNet จะค่อยๆ จางหายไปเมื่อภาพใกล้จะเสร็จสิ้น โดยไม่ถูกแตะต้องโดย ControlNet ในช่วงสุดท้าย

3.5. คู่มือ ControlNet Model: Openpose, Depth, SoftEdge, Canny, Lineart, Tile

3.5.1. ControlNet Model: Openpose

• Openpose (เรียกอีกอย่างว่า Openpose body): โมเดลนี้ทำหน้าที่เป็นเสาหลักของ ControlNet สำหรับการระบุจุดสำคัญบนร่างกายมนุษย์ เช่น ตา จมูก คอ ไหล่ ข้อศอก ข้อมือ เข่า และข้อเท้า มันเหมาะสำหรับการจำลองท่าทางมนุษย์ง่ายๆ
• Openpose_face: เวอร์ชันนี้ของ Openpose ก้าวไปอีกขั้นโดยการตรวจจับจุดสำคัญบนใบหน้า ซึ่งช่วยให้สามารถวิเคราะห์การแสดงออกทางใบหน้าและทิศทางของใบหน้าได้อย่างละเอียด หากโครงการของคุณเน้นการแสดงออกทางใบหน้า โมเดลนี้สำคัญมาก
• Openpose_hand: การปรับปรุงนี้ให้กับโมเดล Openpose มุ่งเน้นไปที่รายละเอียดของการเคลื่อนไหวของมือและนิ้ว ซึ่งเป็นสิ่งสำคัญสำหรับการเข้าใจการเคลื่อนไหวของมือและตำแหน่งอย่างละเอียด มันขยายขอบเขตของสิ่งที่ Openpose สามารถทำได้ภายใน ControlNet
• Openpose_faceonly: ถูกปรับให้เหมาะสำหรับการวิเคราะห์รายละเอียดใบหน้า โมเดลนี้ข้ามจุดสำคัญของร่างกายเพื่อมุ่งเน้นไปที่การแสดงออกทางใบหน้าและทิศทางเฉพาะ เมื่อรายละเอียดใบหน้าเป็นสิ่งสำคัญ โมเดลนี้เป็นตัวเลือกที่เหมาะสม
• Openpose_full: โมเดลนี้รวมความสามารถของ Openpose, Openpose_face และ Openpose_hand สำหรับการตรวจจับจุดสำคัญของร่างกาย ใบหน้า และมือทั้งหมด ทำให้มันเป็นตัวเลือกที่เหมาะสำหรับการวิเคราะห์ท่าทางมนุษย์อย่างครบถ้วนภายใน ControlNet
• DW_Openpose_full: สร้างขึ้นจาก Openpose_full โมเดลนี้แนะนำการปรับปรุงเพิ่มเติมเพื่อให้มีรายละเอียดและความแม่นยำในการตรวจจับท่าทางที่สูงขึ้น มันเป็นเวอร์ชันที่ทันสมัยที่สุดที่มีในชุด ControlNet

ตัวเลือก Preprocessor ได้แก่: Openpose หรือ DWpose

3.5.2. ControlNet Model: Depth

โมเดล Depth ใช้ภาพ 2D เพื่ออนุมานความลึก แสดงเป็นแผนที่สีเทา แต่ละตัวมีความแข็งแรงในแง่ของรายละเอียดหรือการเน้นพื้นหลัง:

• Depth Midas: แนวทางที่สมดุลในการประมาณความลึก Depth Midas เสนอจุดกึ่งกลางในรายละเอียดและการแสดงพื้นหลัง
• Depth Leres: เน้นรายละเอียดในขณะที่ยังคงจับภาพองค์ประกอบพื้นหลังได้เด่นชัด
• Depth Leres++: ผลักดันขอบเขตของรายละเอียดในข้อมูลความลึก ซึ่งมีประโยชน์โดยเฉพาะสำหรับฉากที่ซับซ้อน
• Zoe: หาจุดสมดุลระหว่างระดับรายละเอียดของโมเดล Midas และ Leres
• Depth Anything: โมเดลที่ปรับปรุงเพื่อการประมาณความลึกที่หลากหลายข้ามฉากต่างๆ
• Depth Hand Refiner: ปรับรายละเอียดของมือในแผนที่ความลึกอย่างละเอียด ทำให้มันมีคุณค่าอย่างยิ่งสำหรับฉากที่ต้องการการวางตำแหน่งมือที่แม่นยำ

Preprocessors ที่ควรพิจารณา: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner โมเดลนี้มีความแข็งแรงและความเข้ากันได้กับแผนที่ความลึกจริงจากเครื่องมือเรนเดอร์

3.5.3. ControlNet Model: SoftEdge

ControlNet Soft Edge ถูกออกแบบมาเพื่อผลิตภาพที่มีขอบอ่อนนุ่ม เพิ่มรายละเอียดในขณะที่ยังคงความเป็นธรรมชาติ มันใช้เครือข่ายประสาทที่ทันสมัยสำหรับการจัดการภาพอย่างละเอียด ให้การควบคุมสร้างสรรค์ที่กว้างขวางและการรวมเข้ากันได้อย่างไร้ที่ติ

ในแง่ของความแข็งแรง: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

สำหรับผลลัพธ์ที่มีคุณภาพสูงสุด: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

เป็นคำแนะนำทั่วไป SoftEdge_PIDI เป็นตัวเลือกที่เหมาะสมที่สุดเนื่องจากมันมักจะให้ผลลัพธ์ที่ดีเยี่ยม

ตัวเลือก Preprocessor ได้แก่: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe

3.5.4. ControlNet Model: Canny

โมเดล Canny ใช้การตรวจจับขอบแบบ Canny เพื่อเน้นขอบที่หลากหลายในภาพ โมเดลนี้ยอดเยี่ยมสำหรับการรักษาความสมบูรณ์ขององค์ประกอบโครงสร้างในขณะที่ทำให้ภาพมีลักษณะที่เรียบง่ายขึ้น ช่วยในการสร้างศิลปะสไตล์หรือเตรียมภาพสำหรับการจัดการเพิ่มเติม

ตัวเลือก Preprocessor ที่มี: Canny

3.5.5. ControlNet Model: Lineart

โมเดล Lineart เป็นเครื่องมือของคุณในการเปลี่ยนภาพให้เป็นการวาดเส้นสไตล์เหมาะสำหรับการประยุกต์ใช้ศิลปะหลายแบบ:

• Lineart: ตัวเลือกมาตรฐานสำหรับการเปลี่ยนภาพเป็นการวาดเส้น ให้จุดเริ่มต้นที่หลากหลายสำหรับการประยุกต์ใช้ศิลปะหรือสร้างสรรค์ต่างๆ
• Lineart anime: ถูกปรับให้เหมาะสำหรับการสร้างการวาดเส้นสไตล์อนิเมะที่สะอาดและชัดเจน เหมาะสำหรับโครงการที่ต้องการลักษณะอนิเมะ
• Lineart realistic: มุ่งเน้นไปที่การจับภาพที่สมจริงมากขึ้นในการวาดเส้น ให้รายละเอียดมากขึ้นสำหรับโครงการที่ต้องการความสมจริง
• Lineart coarse: เน้นเส้นที่หนาขึ้นและเด่นชัดมากขึ้นเพื่อการแสดงผลที่โดดเด่น เหมาะสำหรับการแถลงการณ์กราฟิกที่โดดเด่น

ตัวเลือก Preprocessor ที่มีสามารถผลิตได้ทั้งการวาดเส้นที่ละเอียดหรือโดดเด่นมากขึ้น (Lineart และ Lineart_Coarse)

3.5.6. ControlNet Model: Tile

โมเดล Tile Resample โดดเด่นในการนำรายละเอียดในภาพออกมา มันมีประสิทธิภาพพิเศษเมื่อใช้ร่วมกับตัวขยายเพื่อเพิ่มความละเอียดและรายละเอียดของภาพ มักถูกใช้เพื่อเพิ่มความคมชัดและความสมบูรณ์ของเนื้อหาและองค์ประกอบของภาพ

ตัวเลือก Preprocessor ที่แนะนำ: Tile

3.6. คู่มือการใช้ ControlNet หลายตัว

การบูรณาการ ControlNets หรือ T2I-Adapters หลายตัวช่วยให้สามารถใช้การปรับสภาพประเภทต่างๆ ต่อเนื่องกันในกระบวนการสร้างภาพของคุณ ตัวอย่างเช่น คุณสามารถรวม Lineart และ OpenPose ControlNets เพื่อเพิ่มรายละเอียด

Lineart สำหรับรูปร่างวัตถุ: เริ่มต้นด้วยการรวม Lineart ControlNet เพื่อเพิ่มความลึกและรายละเอียดให้กับวัตถุหรือองค์ประกอบในภาพของคุณ ขั้นตอนนี้รวมถึงการเตรียมแผนที่ lineart หรือ canny สำหรับวัตถุที่คุณต้องการรวม

OpenPose สำหรับการควบคุมท่าทาง: หลังจากการเพิ่มรายละเอียด lineart ใช้ OpenPose ControlNet เพื่อกำหนดท่าทางของบุคคลในภาพของคุณ คุณจะต้องสร้างหรือรับแผนที่ OpenPose ที่จับท่าทางที่ต้องการ

การประยุกต์ใช้ต่อเนื่อง: เพื่อรวมผลกระทบเหล่านี้อย่างมีประสิทธิภาพ เชื่อมต่อ output จาก Lineart ControlNet เข้ากับ OpenPose ControlNet วิธีนี้ทำให้มั่นใจว่าทั้งท่าทางของบุคคลและรูปร่างของวัตถุจะถูกนำทางในกระบวนการสร้างภาพพร้อมกัน สร้างผลลัพธ์ที่สอดคล้องกับข้อมูลที่ป้อนทั้งหมด

4. ภาพรวมของ IPAdapter

โปรดตรวจสอบรายละเอียดที่ วิธีใช้ IPAdapter ใน ComfyUI