ComfyUI IC-Light workflow สำหรับการปรับแสงวิดีโอ
ปลดล็อกศักยภาพเต็มที่ของโปรเจกต์วิดีโอของคุณด้วย ComfyUI IC-Light workflow, ที่ออกแบบมาโดยเฉพาะสำหรับการเพิ่มแสงในวิดีโอของตัวละคร "Human" โดยใช้ lightmap. ด้วย ComfyUI IC-Light, คุณสามารถเปลี่ยนแปลงวิดีโอของคุณได้อย่างง่ายดายเพียงแค่ให้ prompts และองค์ประกอบ lightmap เช่น รูปร่างและแสงนีออน. เครื่องมือนี้จะสร้างวิดีโอใหม่ด้วยการเพิ่มแสงที่ดีขึ้นอย่างชัดเจน.
วิธีการใช้ ComfyUI IC-Light workflow
- อัปโหลดวิดีโอต้นฉบับ: เริ่มต้นโดยการอัปโหลดวิดีโอที่คุณต้องการปรับปรุง.
- อัปโหลดวิดีโอ Light Map หรือภาพ Light Map: เลือกวิดีโอ light map หรือภาพเดียวเพื่อใช้เป็นแม่แบบแสงใหม่ของคุณ.
- ป้อน Load Cap และการตั้งค่าอื่น ๆ, การตั้งค่าเดียวกันควรอยู่ในวิดีโอ Light Map.
- ป้อน Prompts ที่อธิบายการตั้งค่าแสงใหม่ของคุณ เช่น แสงแดดหรือแสงนีออน.
- เลือกรุ่นของคุณ. แนะนำให้ใช้รุ่นที่สมจริง.
- เปลี่ยนการตั้งค่า Light Map Composing และการตั้งค่าอื่น ๆ หากจำเป็น.
- กดปุ่ม render.
ผลลัพธ์จะถูกบันทึกใน ComfyUI > Outputs
นี่คือ 5 การตั้งค่า:
- Sampler Steps: มันกำหนดจำนวนขั้นตอนทั้งหมดที่ KSampler ใช้ในการสร้างภาพ. ไม่ควรเปลี่ยนแปลง. [ค่าเริ่มต้น 26]
- Detail Enhancer: มันเพิ่มรายละเอียดเล็ก ๆ น้อย ๆ ในการสร้างภาพสุดท้าย. [ใช้ค่าระหว่าง 0.1 และ 1]
- Seed: มันควบคุม Generations Seed สำหรับทุก KSamplers.
- Sampler CFG: มันควบคุมค่า CFG ของ KSamplers.
- Refiner Upscale: มันทำงานเหมือนกับค่า Highres Fix. [ใช้ระหว่าง 1.1 – 1.6 เพื่อผลลัพธ์ที่ดีที่สุด]
Prompts
- Positive Prompt: ป้อน prompts ที่อธิบายภาพของคุณด้วยแสงใหม่ได้ดีที่สุด.
- Negative Prompts: มันถูกกำหนดค่าเพื่อให้ผลลัพธ์ที่ดีที่สุด. คุณสามารถแก้ไขได้ตามต้องการ.
- Clip Text Encode nodes: มันช่วยในการเข้ารหัสข้อความเพื่อเพิ่มคุณภาพ. ปล่อยไว้ที่ “full”
Models and Loras
- Checkpoint: เลือกรุ่น realistic SD 1.5 เพื่อผลลัพธ์ที่แม่นยำ. คุณสามารถเลือกรุ่น SD 1.5 ใด ๆ เพื่อผลลัพธ์ที่มีสไตล์.
- Loras: [ไม่บังคับ] เลือก loras จากรายการที่ให้หากคุณต้องการ. อย่าใช้มันเต็มกำลัง. ใช้ประมาณ 0.5-0.7 เพื่อผลลัพธ์ที่ดีที่สุด
- อัปโหลดวิดีโอต้นฉบับ: ที่นี่คุณคลิกและอัปโหลดวิดีโอตัวละครมนุษย์ที่คุณต้องการเปลี่ยนแสง.
- ขนาดไม่ควรเกิน 100 MB, Comfy จะไม่สามารถอัปโหลดไฟล์ขนาดใหญ่ได้.
- ความยาวไม่ควรเกิน 15-20 วินาที. อาจไม่สามารถสร้างวิดีโอที่ยาวกว่านี้ได้
- ความละเอียดไม่ควรเกิน 720p
- ใช้ Skip Frames Nodes หากคุณต้องการข้ามเฟรมเริ่มต้นบางส่วน. [Light Map video’s จะข้ามเฟรมนี้ด้วย]
- Fit Image Size Limiter: ที่นี่คุณกำหนดขนาดความละเอียดในการเรนเดอร์, ไม่ว่าจะเป็นแนวนอนหรือแนวตั้ง, ความละเอียดสูงสุดจะอยู่ที่หรือน้อยกว่าค่าที่ตั้งไว้เสมอ.
- ใช้ค่าระหว่าง 800 – 1200 เพื่อผลลัพธ์ที่ดีที่สุด. [สิ่งนี้จะมีผลต่อ Vram]
สำคัญ: ใช้ Frames Load Cap 10 เพื่อลองทดสอบก่อน
- ใช้ประมาณ 200 - 300 เฟรมที่ขนาด 1000 – 1200 หากคุณมี 24 GB.
- ใช้ 0 หากคุณต้องการเรนเดอร์ทุกเฟรม. [ไม่แนะนำสำหรับวิดีโอที่ยาวกว่า]
Mask and Depth Settings
- Mask: มันใช้ Robust Video Matting, การตั้งค่าเริ่มต้นนั้นเพียงพอ.
- Depth ControlNet: มันใช้รุ่น DepthAnything v2 ล่าสุด.
- Strength และ End Percent ถูกตั้งไว้ที่ 75% เพื่อให้ผลลัพธ์ที่เหมาะสม
- ใช้ Co เพื่อผลลัพธ์ที่ดีที่สุด.
Light Map
- อัปโหลด Light Map: คลิกและอัปโหลดวิดีโอ light map ที่คุณต้องการ.
- มันจะปรับขนาดอัตโนมัติตามมิติของวิดีโอต้นฉบับ
- ตรวจสอบให้แน่ใจว่ามันยาวกว่าหรือเท่ากับมิติของวิดีโอต้นฉบับมิฉะนั้นจะเกิดข้อผิดพลาด.
- Light Map ControlNet: light map นี้ยังใช้เป็น Light controlnet โดยใช้
- CN Strength และ End Percent: ใช้ค่าต่ำที่นี่, ค่าที่สูงอาจทำให้เกิดการเปิดรับแสงเกินหรือการเปลี่ยนแสงที่คมชัด.
Single Light Map
- ในการใช้ภาพเดียวเป็น light map, unmute nodes เหล่านี้และเชื่อมต่อ reroute node กับ “Pick one Input” Node.
AnimateDIff
- โหลด Animatediff Model: คุณสามารถใช้รุ่นใดก็ได้สำหรับเอฟเฟกต์ต่าง ๆ.
- Animatediff Other nodes: คุณต้องมีความรู้เกี่ยวกับ animatediff เพื่อเปลี่ยนการตั้งค่าอื่น ๆ [ คุณสามารถหาข้อมูลได้ ]
- Settings SMZ: นี่คือ node ที่เพิ่มคุณภาพของ model Pipeline, การตั้งค่าทั้งหมดถูกกำหนดไว้ล่วงหน้าเพื่อให้ทำงานได้ดี.
การสร้าง Light Map และ IC Conditioning
- Adjustment Nodes ด้านบน (สีเทา) มีไว้เพื่อควบคุมการ Conditioning ของ IC-Light Conditioning, เพื่อลดความคมชัดและควบคุมความสว่าง.
- สร้างพื้นหลังใหม่: เมื่อปิดใช้งานมันจะใช้ภาพอินพุตต้นฉบับและพยายามแมปรายละเอียดที่คล้ายกับพื้นหลังของวิดีโอต้นฉบับตาม “Background Prompts” หากมีในกล่อง positive prompt
[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]
- เมื่อสร้างพื้นหลังใหม่เปิดใช้งาน: มันจะสร้างพื้นหลังใหม่โดยพิจารณาจากความลึก
[1girl, sunlight, sunset, nature in the background, sky]
นอกจากนี้ Strength และ End Percent ของ Depth ControlNet ถูกลดลงเหลือ 45 % เพื่อให้มีพื้นที่เปิดในพื้นหลัง.
- Light Map on Top: เมื่อเป็นจริง, light map จะอยู่ด้านบนของวิดีโอต้นฉบับและมีความโดดเด่นมากขึ้น, เมื่อเป็นเท็จ, ต้นฉบับจะอยู่ด้านบน, มีความโดดเด่นและสว่างมากขึ้น
- Subject Affecting Area: 2 โหมดการผสมทำงานได้ดีที่สุด
- Multiply: มันจะทำให้เงามืดลงตาม light map ที่อยู่ด้านบนหรือล่าง
- Screen: มันจะทำให้เงาสว่างขึ้นตาม light map ที่อยู่ด้านบนหรือล่าง
- Blend Factor คือความเข้มข้น.
- Overall Adjustments: นี่จะควบคุมความสว่าง, ความคมชัด, แกมมา, สีของ Light map ที่ผ่านการประมวลผลสุดท้ายจากด้านบน.
- Image Remap: ใช้ node นี้เพื่อควบคุมความสว่างและความมืดทั่วโลกของภาพทั้งหมด.
- ค่าต่ำสุดที่สูงขึ้นจะทำให้ฉากสว่างขึ้น
- ค่าสูงสุดที่ต่ำกว่าจะทำให้ฉากมืดลงและสามารถเปลี่ยนพื้นที่สว่างให้เป็นวัตถุที่มีการเปลี่ยนแปลงเช่น QrCode Monster CN
- ใช้ค่าต่ำสุดที่ 0.1 หรือ 0.2 เพื่อให้ฉากสว่างขึ้นเล็กน้อย.
- ค่าต่ำสุด 0 จะมีเงาดำสนิทสำหรับพิกเซลสีดำของ light map.
KSamplers (Raw และ Refine)
IC Raw Ksampler: ไม่เหมือนกับ sampler อื่น ๆ มันเริ่มต้นที่ขั้นตอน 8 แทนที่จะเป็นศูนย์, เนื่องจาก IC-Light Condition (เฟรมจะถูกลดจุดน้อยลงจากขั้นตอนที่ 8)
- สำหรับขั้นตอนสุดท้าย 20
- ขั้นตอนเริ่มต้นที่
- 0 จะไม่มีผลจาก light map.
- 5 จะมีผล 50 เปอร์เซ็นต์
- 10 จะมีผล 100 เปอร์เซ็นต์.
- ดังนั้น, ประมาณ 3-8 เป็นค่าที่ดีที่จะทดสอบ.
เมื่อ Generate New Background เป็น TRUE, คุณสามารถลดลงต่ำกว่า 5 เพื่อผลลัพธ์ที่ดีกว่า
- Ksampler Refine: มันทำงานเหมือนกับ Img2Img Refiner หลังจาก IC raw sampler.
สำหรับขั้นตอนสุดท้าย 25
- ขั้นตอนเริ่มต้นที่
- 10 และต่ำกว่าจะทำงานเหมือน raw sampler และจะให้วัตถุที่มีการเปลี่ยนแปลง
- 15 จะทำงานเหมือน refiner ที่เหมาะสม
- 20 จะทำงานไม่ถูกต้อง
- สูงกว่า 20 และสูงกว่าจะให้ผลลัพธ์ที่ยุ่งเหยิง
- ดังนั้น, 16 เป็นค่าที่ดี.
Face Fix
- Upscale สำหรับ Face Fix: หากใบหน้าของคุณไม่เป็นที่พอใจหลังจาก face fix, คุณสามารถ upscale เป็นประมาณ 1.2 ถึง 1.6 เพื่อให้ใบหน้าดีขึ้น.
- Positive Prompt: ที่นี่คุณสามารถเขียน prompts สำหรับใบหน้า. ตั้งค่าเป็น “smiling” โดยค่าเริ่มต้น. คุณสามารถเปลี่ยนได้.
- Face Denoise: ใช้ประมาณ, 0.35 – 0.45. หากใช้ค่าสูงเกินไปอาจทำให้ใบหน้าเรนเดอร์ไม่ถูกต้องและอาจเกิดปัญหาใบหน้าเลื่อนได้.
การบันทึก
- Video Combine: นี่จะส่งออกเฟรมทั้งหมดในรูปแบบวิดีโอ. หาก node นี้ล้มเหลวเมื่อรวมกันแสดงว่ามีเฟรมมากเกินไปและหน่วยความจำไม่เพียงพอ. ลด frames load cap หากเกิดขึ้น
- มันจะบันทึกใน ComfyUI > Outputs โดยค่าเริ่มต้น.
- เปลี่ยนเส้นทางการส่งออก: unmute node นี้, หากคุณต้องการบันทึกผลลัพธ์ไปยังตำแหน่งบันทึกที่กำหนดเอง
เกี่ยวกับผู้เขียน workflow นี้
Jerry Davos
- ช่อง YouTube: https://www.youtube.com/@jerrydavos
- Patreon: https://www.patreon.com/jerrydavos
การติดต่อ
- อีเมล: davos.jerry@gmail.com
- Discord: https://discord.gg/z9rgJyfPWJ