คู่มือการใช้ ComfyUI Reactor สำหรับการเปลี่ยนใบหน้าในวิดีโอ

สวัสดีผู้ชื่นชอบแอนิเมชัน AI! เรากำลังเริ่มต้นการเดินทางที่น่าตื่นเต้นเข้าสู่โลกของการเปลี่ยนใบหน้าใน ComfyUI ที่นี่ เราขอนำเสนอการทำงานของ ComfyUI Reactor ที่จะช่วยให้คุณสามารถเปลี่ยนใบหน้าเดียวหรือหลายใบหน้าในวิดีโอได้!

เราจะครอบคลุม:

1. Roop กับ Reactor
2. ComfyUI Reactor คืออะไร?
3. วิธีใช้ Reactor ใน ComfyUI?
   • การตั้งค่าภาพของคุณ
   • โมเดลการเปลี่ยนใบหน้า
   • การตรวจจับใบหน้า
   • การฟื้นฟูใบหน้า
   • ความชัดเจนของการฟื้นฟูใบหน้า & น้ำหนักของ CodeFormer (ความสมจริง)
   • การตรวจจับเพศ
   • การแนะนำ Face Index สำหรับการเปลี่ยนใบหน้าเดี่ยวหรือหลายใบหน้าในวิดีโอ
4. การแทรกเฟรมอัจฉริยะถ้าจำเป็น
5. การปรับขนาดและการปรับแต่งถ้าจำเป็น

1. Roop กับ Reactor

ผมเดาว่าบางคนเคยใช้ส่วนขยาย Roop ใน Automatic 1111 สำหรับการทดลองสร้างสรรค์เหล่านี้ แต่โค้ดของ Roop ถูกยกเลิก นักออกแบบการเคลื่อนไหวและนักแอนิเมเตอร์กำลังยอมรับแชมป์ใหม่ของการเปลี่ยนใบหน้า – ReActor ใน ComfyUI เครื่องมือนี้ไม่เพียงแค่เป็นการอัปเกรดจาก Roop; มันเป็นการปฏิวัติอย่างสมบูรณ์ ReActor ได้เปลี่ยนการเปลี่ยนใบหน้าให้เป็นส่วนหนึ่งของเครื่องมือสร้างสรรค์ของคุณอย่างราบรื่นและน่าตื่นเต้น

แล้วทำไม ReActor ถึงเป็นตัวเลือกใหม่ที่ดีที่สุดสำหรับการเปลี่ยนใบหน้า? นี่คือเหตุผล:

• การเปลี่ยนใบหน้าความละเอียดสูงพร้อมการเพิ่มความคมชัด: กล่าวคำอำลากับภาพเบลอและสวัสดีกับภาพคมชัดที่ชัดเจน
• ประหยัด CPU: ไม่จำเป็นต้องมี GPU ระดับสูง ทำให้เข้าถึงได้มากขึ้นสำหรับผู้ใช้
• ความเข้ากันได้ทั่วโลก: ทำงานได้อย่างราบรื่นกับ SDXL และ 1.5 Models – เหมือนมีรีโมทสากลสำหรับการเปลี่ยนใบหน้า!
• การตรวจจับอัจฉริยะ: การตรวจจับเพศและอายุอัตโนมัติหมายความว่ามันรู้ว่าใครคือใครในวิดีโอของคุณ
• การสร้างสรรค์ที่ไม่มีการกรอง: ด้วยการไม่มีฟิลเตอร์ NSFW ความคิดสร้างสรรค์ของคุณสามารถวิ่งไปได้อย่างเต็มที่
• การพัฒนาอย่างต่อเนื่อง: ReActor ยังคงฉลาดขึ้นและดีขึ้น เหมือนกับไวน์ชั้นดีที่มีอายุอย่างงดงาม

ตอนนี้ มาทำมากกว่าการพูดถึงมัน มาดำดิ่งลงไปในวิธีการใช้ Reactor ใน ComfyUI และตั้งค่าพารามิเตอร์ใน Reactor! ด้วย ReActor ความเป็นไปได้ในการสร้างสรรค์ของคุณไม่มีที่สิ้นสุด

2. ComfyUI Reactor คืออะไร?

ComfyUI Reactor เป็นโหนดส่วนขยายการเปลี่ยนใบหน้าที่รวดเร็วและง่ายสำหรับ ComfyUI มันใช้โมเดลหลายตัวเพื่ออำนวยความสะดวกในการตรวจจับใบหน้า การเปลี่ยนใบหน้า และการฟื้นฟูใบหน้า ทั้งหมดนี้ในขณะที่รักษาความง่ายในการใช้งาน

3. วิธีใช้ Reactor ใน ComfyUI?

เอาล่ะ มาดำดิ่งลงไปในกระบวนการที่น่าตื่นเต้นของการสร้างการทำงานของคุณ ด้วย Reactor คุณจะสามารถเพิ่มเอฟเฟกต์การเปลี่ยนใบหน้าที่น่าทึ่งให้กับแอนิเมชันของคุณได้

3.1 การตั้งค่าภาพของคุณ

สิ่งแรกที่ต้องทำคือเลือก 'ภาพต้นทาง' ของคุณ - คิดว่านี่คือผู้บริจาคใบหน้า จากนั้นเลือก 'ภาพอินพุต' ของคุณ – นั่นคือผู้รับโชคดีของใบหน้าใหม่

3.2 โมเดลการเปลี่ยนใบหน้า

เราได้ดาวน์โหลด inswapper_128.onnx Model แล้ว โมเดลที่ผ่านการฝึกอบรมล่วงหน้า inswapper_128.onnx ซึ่งจัดทำโดย InsightFace

3.3 การตรวจจับใบหน้า

การตรวจจับใบหน้าเหมือนมีนักสืบดิจิทัลที่ตรวจพบใบหน้าในภาพต้นทางและภาพอินพุตของคุณ เรามีนักสืบหลายตัว - resnet50, mobile0.25, YOLOv5l และ YOLOv5n แต่ตัวที่เราใช้เป็นประจำคือ retinaface_resnet50 ซึ่งมีประสิทธิภาพดี

3.4 การฟื้นฟูใบหน้า

ที่นี่คุณสามารถเลือกโมเดลสำหรับการฟื้นฟูใบหน้า บางคนชอบ GF PGN แต่ลองใช้ Code Forer ดู - มันก็ดีเช่นกัน!

3.5 ความชัดเจนของการฟื้นฟูใบหน้า & น้ำหนักของ CodeFormer (ความสมจริง)

การตั้งค่าเหล่านี้เหมือนกับการปรับแต่งกีตาร์ของคุณ การตั้งค่าเริ่มต้นคือ 1.00 สำหรับความชัดเจนและ 0.75 สำหรับน้ำหนักของ CodeFormer แต่ไม่ต้องลังเลที่จะลองปรับแต่งและดูว่าคุณสามารถสร้างอะไรได้บ้าง

3.6 การตรวจจับเพศ? อาจจะไม่

ตัวเลือก 'การตรวจจับเพศ' ตัดสินใจว่าคุณต้องการให้โมเดลตรวจจับเพศในภาพหรือไม่ ReActor จะเปลี่ยนใบหน้าเฉพาะเมื่อตรงกับเงื่อนไขที่กำหนด ในประสบการณ์ของผม การตั้งค่าเป็น 'ไม่' ให้ผลลัพธ์ที่ดี เหมือนบอกโมเดลว่า "ให้ความสนใจที่ใบหน้าเท่านั้นนะ!"

3.7 การแนะนำ Face Index

Face Index ช่วยให้ระบบระบุใบหน้าแต่ละใบหน้าในภาพของคุณ ใบหน้าจะถูกแท็กจากซ้ายไปขวาและจากบนลงล่างในภาพที่เกี่ยวข้อง ด้วยวิธีนี้ ระบบจะรู้ว่าใครคือใคร

3.7.1 การตั้งค่าสำหรับการเปลี่ยนใบหน้าเดี่ยว

มีใบหน้าเดียวที่ต้องเปลี่ยน? ง่ายมาก! ทั้งใบหน้าต้นทางและใบหน้าอินพุตจะมีดัชนีเป็น 0

3.7.2 การตั้งค่าสำหรับการเปลี่ยนใบหน้าหลายใบหน้า

ตอนนี้ ถ้าคุณรู้สึกทะเยอทะยานและต้องการเปลี่ยนใบหน้าหลายใบหน้า นี่คือวิธีการทำ:

การเปลี่ยนใบหน้าหลายใบหน้าในภาพแยกต่างหาก

• เมื่อจัดการกับตัวละครที่อยู่ทางซ้ายในแอนิเมชันของคุณ ให้ตั้งค่า Source และ Input Face Index ทั้งคู่เป็น 0 นี่คือการบอก Reactor ว่า "ใช้ภาพต้นทางสำหรับแทนที่ตัวละครทางซ้ายในภาพอินพุต"
• สำหรับตัวละครที่อยู่ทางขวา ให้ปรับค่า Source Index เป็น 0 และ Input Face Index เป็น 1 นี่คือการบอก Reactor ว่า "ใช้ภาพต้นทางสำหรับแทนที่ตัวละครทางขวาในภาพอินพุต"
• จำไว้ว่าถ้าตัวละครแต่ละตัวอยู่ในภาพแยกต่างหาก คุณจะต้องมีชุดโหนด Reactor สองชุด

การเปลี่ยนใบหน้าหลายใบหน้าในภาพเดียว

• ถ้าคุณมีภาพที่มีตัวละครสองตัว โหนด Reactor หนึ่งตัวจะทำงานได้
• นี่คือที่ที่มันน่าสนุก คุณสามารถผสมและจับคู่ใบหน้าได้ สมมติว่าคุณต้องการเปลี่ยนใบหน้าที่สองในภาพอินพุต (นั่นคือดัชนี = 1) กับใบหน้าแรกในภาพต้นทาง (ดัชนี = 0) และคุณต้องการเปลี่ยนใบหน้าแรกในภาพอินพุต (นั่นคือดัชนี = 0) กับใบหน้าที่สองในภาพต้นทาง (ดัชนี = 1) สิ่งที่คุณต้องทำคือการตั้งค่าดัชนีของคุณแบบนี้: Source - 0,1; Input - 1,0

4. การแทรกเฟรมอัจฉริยะถ้าจำเป็น

นี่คือเคล็ดลับที่มีประโยชน์ - ลองพิจารณาใช้เฟรมอินเตอร์โพเลเตอร์ คิดว่ามันเป็นเครื่องย้อนเวลาสำหรับเฟรมวิดีโอของคุณ มันทำงานได้ยอดเยี่ยมโดยลดจำนวนเฟรมที่คุณต้องประมวลผลในตอนแรกและจากนั้นสร้างมันขึ้นมาใหม่อย่างชาญฉลาดในภายหลัง นี่มีประโยชน์โดยเฉพาะถ้าคุณต้องลดคุณภาพของวิดีโอของคุณเพื่อการประมวลผลที่เร็วขึ้น คิดว่าขั้นตอนนี้เป็นไม้กายสิทธิ์ที่ช่วยให้คุณกลับมามีความคมชัดและรายละเอียดที่หายไป

5. การปรับขนาดและการปรับแต่งถ้าจำเป็น

คุณยังสามารถปรับขนาดภาพวิดีโอก่อนที่จะส่งไปยังอินเตอร์โพเลเตอร์ แม้ว่าจะยากที่จะได้คุณภาพเท่าไฟล์ต้นฉบับ แต่มันก็ดีกว่าไม่มีอะไรเลย

ผู้เขียน: บรรณาธิการ RunComfy

ทีมบรรณาธิการของเราทำงานกับ AI มากว่า 15 ปี เริ่มต้นด้วย NLP/Vision ในยุคของ RNN/CNN เราได้สะสมประสบการณ์มากมายใน AI Chatbot/Art/Animation เช่น BERT/GAN/Transformer เป็นต้น พูดคุยกับเราหากคุณต้องการความช่วยเหลือเกี่ยวกับศิลปะ AI แอนิเมชัน และวิดีโอ