IC-Light | การปรับแสงวิดีโอ | AnimateDiff

ComfyUI IC-Light workflow สำหรับการปรับแสงวิดีโอ

ปลดล็อกศักยภาพเต็มที่ของโปรเจกต์วิดีโอของคุณด้วย ComfyUI IC-Light workflow, ที่ออกแบบมาโดยเฉพาะสำหรับการเพิ่มแสงในวิดีโอของตัวละคร "Human" โดยใช้ lightmap. ด้วย ComfyUI IC-Light, คุณสามารถเปลี่ยนแปลงวิดีโอของคุณได้อย่างง่ายดายเพียงแค่ให้ prompts และองค์ประกอบ lightmap เช่น รูปร่างและแสงนีออน. เครื่องมือนี้จะสร้างวิดีโอใหม่ด้วยการเพิ่มแสงที่ดีขึ้นอย่างชัดเจน.

วิธีการใช้ ComfyUI IC-Light workflow

1. อัปโหลดวิดีโอต้นฉบับ: เริ่มต้นโดยการอัปโหลดวิดีโอที่คุณต้องการปรับปรุง.
2. อัปโหลดวิดีโอ Light Map หรือภาพ Light Map: เลือกวิดีโอ light map หรือภาพเดียวเพื่อใช้เป็นแม่แบบแสงใหม่ของคุณ.
3. ป้อน Load Cap และการตั้งค่าอื่น ๆ, การตั้งค่าเดียวกันควรอยู่ในวิดีโอ Light Map.
4. ป้อน Prompts ที่อธิบายการตั้งค่าแสงใหม่ของคุณ เช่น แสงแดดหรือแสงนีออน.
5. เลือกรุ่นของคุณ. แนะนำให้ใช้รุ่นที่สมจริง.
6. เปลี่ยนการตั้งค่า Light Map Composing และการตั้งค่าอื่น ๆ หากจำเป็น.
7. กดปุ่ม render.

ผลลัพธ์จะถูกบันทึกใน ComfyUI > Outputs

Inputs_1 - การตั้งค่า

นี่คือ 5 การตั้งค่า:

• Sampler Steps: มันกำหนดจำนวนขั้นตอนทั้งหมดที่ KSampler ใช้ในการสร้างภาพ. ไม่ควรเปลี่ยนแปลง. [ค่าเริ่มต้น 26]
• Detail Enhancer: มันเพิ่มรายละเอียดเล็ก ๆ น้อย ๆ ในการสร้างภาพสุดท้าย. [ใช้ค่าระหว่าง 0.1 และ 1]
• Seed: มันควบคุม Generations Seed สำหรับทุก KSamplers.
• Sampler CFG: มันควบคุมค่า CFG ของ KSamplers.
• Refiner Upscale: มันทำงานเหมือนกับค่า Highres Fix. [ใช้ระหว่าง 1.1 – 1.6 เพื่อผลลัพธ์ที่ดีที่สุด]

Prompts

• Positive Prompt: ป้อน prompts ที่อธิบายภาพของคุณด้วยแสงใหม่ได้ดีที่สุด.
• Negative Prompts: มันถูกกำหนดค่าเพื่อให้ผลลัพธ์ที่ดีที่สุด. คุณสามารถแก้ไขได้ตามต้องการ.
• Clip Text Encode nodes: มันช่วยในการเข้ารหัสข้อความเพื่อเพิ่มคุณภาพ. ปล่อยไว้ที่ “full”

Models and Loras

• Checkpoint: เลือกรุ่น realistic SD 1.5 เพื่อผลลัพธ์ที่แม่นยำ. คุณสามารถเลือกรุ่น SD 1.5 ใด ๆ เพื่อผลลัพธ์ที่มีสไตล์.
• Loras: [ไม่บังคับ] เลือก loras จากรายการที่ให้หากคุณต้องการ. อย่าใช้มันเต็มกำลัง. ใช้ประมาณ 0.5-0.7 เพื่อผลลัพธ์ที่ดีที่สุด

Input Source Video

• อัปโหลดวิดีโอต้นฉบับ: ที่นี่คุณคลิกและอัปโหลดวิดีโอตัวละครมนุษย์ที่คุณต้องการเปลี่ยนแสง.
  • ขนาดไม่ควรเกิน 100 MB, Comfy จะไม่สามารถอัปโหลดไฟล์ขนาดใหญ่ได้.
  • ความยาวไม่ควรเกิน 15-20 วินาที. อาจไม่สามารถสร้างวิดีโอที่ยาวกว่านี้ได้
  • ความละเอียดไม่ควรเกิน 720p
  • ใช้ Skip Frames Nodes หากคุณต้องการข้ามเฟรมเริ่มต้นบางส่วน. [Light Map video’s จะข้ามเฟรมนี้ด้วย]
• Fit Image Size Limiter: ที่นี่คุณกำหนดขนาดความละเอียดในการเรนเดอร์, ไม่ว่าจะเป็นแนวนอนหรือแนวตั้ง, ความละเอียดสูงสุดจะอยู่ที่หรือน้อยกว่าค่าที่ตั้งไว้เสมอ.
  • ใช้ค่าระหว่าง 800 – 1200 เพื่อผลลัพธ์ที่ดีที่สุด. [สิ่งนี้จะมีผลต่อ Vram]

สำคัญ: ใช้ Frames Load Cap 10 เพื่อลองทดสอบก่อน

• ใช้ประมาณ 200 - 300 เฟรมที่ขนาด 1000 – 1200 หากคุณมี 24 GB.
• ใช้ 0 หากคุณต้องการเรนเดอร์ทุกเฟรม. [ไม่แนะนำสำหรับวิดีโอที่ยาวกว่า]

Mask and Depth Settings

• Mask: มันใช้ Robust Video Matting, การตั้งค่าเริ่มต้นนั้นเพียงพอ.
• Depth ControlNet: มันใช้รุ่น DepthAnything v2 ล่าสุด.
  • Strength และ End Percent ถูกตั้งไว้ที่ 75% เพื่อให้ผลลัพธ์ที่เหมาะสม
  • ใช้ Co เพื่อผลลัพธ์ที่ดีที่สุด.

Light Map

• อัปโหลด Light Map: คลิกและอัปโหลดวิดีโอ light map ที่คุณต้องการ.
  • มันจะปรับขนาดอัตโนมัติตามมิติของวิดีโอต้นฉบับ
  • ตรวจสอบให้แน่ใจว่ามันยาวกว่าหรือเท่ากับมิติของวิดีโอต้นฉบับมิฉะนั้นจะเกิดข้อผิดพลาด.
• Light Map ControlNet: light map นี้ยังใช้เป็น Light controlnet โดยใช้
• CN Strength และ End Percent: ใช้ค่าต่ำที่นี่, ค่าที่สูงอาจทำให้เกิดการเปิดรับแสงเกินหรือการเปลี่ยนแสงที่คมชัด.

Single Light Map

• ในการใช้ภาพเดียวเป็น light map, unmute nodes เหล่านี้และเชื่อมต่อ reroute node กับ “Pick one Input” Node.

AnimateDIff

• โหลด Animatediff Model: คุณสามารถใช้รุ่นใดก็ได้สำหรับเอฟเฟกต์ต่าง ๆ.
• Animatediff Other nodes: คุณต้องมีความรู้เกี่ยวกับ animatediff เพื่อเปลี่ยนการตั้งค่าอื่น ๆ [ คุณสามารถหาข้อมูลได้ ]
• Settings SMZ: นี่คือ node ที่เพิ่มคุณภาพของ model Pipeline, การตั้งค่าทั้งหมดถูกกำหนดไว้ล่วงหน้าเพื่อให้ทำงานได้ดี.

การสร้าง Light Map และ IC Conditioning

• Adjustment Nodes ด้านบน (สีเทา) มีไว้เพื่อควบคุมการ Conditioning ของ IC-Light Conditioning, เพื่อลดความคมชัดและควบคุมความสว่าง.
• สร้างพื้นหลังใหม่: เมื่อปิดใช้งานมันจะใช้ภาพอินพุตต้นฉบับและพยายามแมปรายละเอียดที่คล้ายกับพื้นหลังของวิดีโอต้นฉบับตาม “Background Prompts” หากมีในกล่อง positive prompt

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• เมื่อสร้างพื้นหลังใหม่เปิดใช้งาน: มันจะสร้างพื้นหลังใหม่โดยพิจารณาจากความลึก

[1girl, sunlight, sunset, nature in the background, sky]

นอกจากนี้ Strength และ End Percent ของ Depth ControlNet ถูกลดลงเหลือ 45 % เพื่อให้มีพื้นที่เปิดในพื้นหลัง.

• Light Map on Top: เมื่อเป็นจริง, light map จะอยู่ด้านบนของวิดีโอต้นฉบับและมีความโดดเด่นมากขึ้น, เมื่อเป็นเท็จ, ต้นฉบับจะอยู่ด้านบน, มีความโดดเด่นและสว่างมากขึ้น
• Subject Affecting Area: 2 โหมดการผสมทำงานได้ดีที่สุด
  • Multiply: มันจะทำให้เงามืดลงตาม light map ที่อยู่ด้านบนหรือล่าง
  • Screen: มันจะทำให้เงาสว่างขึ้นตาม light map ที่อยู่ด้านบนหรือล่าง
  • Blend Factor คือความเข้มข้น.

• Overall Adjustments: นี่จะควบคุมความสว่าง, ความคมชัด, แกมมา, สีของ Light map ที่ผ่านการประมวลผลสุดท้ายจากด้านบน.
• Image Remap: ใช้ node นี้เพื่อควบคุมความสว่างและความมืดทั่วโลกของภาพทั้งหมด.
  • ค่าต่ำสุดที่สูงขึ้นจะทำให้ฉากสว่างขึ้น
  • ค่าสูงสุดที่ต่ำกว่าจะทำให้ฉากมืดลงและสามารถเปลี่ยนพื้นที่สว่างให้เป็นวัตถุที่มีการเปลี่ยนแปลงเช่น QrCode Monster CN
  • ใช้ค่าต่ำสุดที่ 0.1 หรือ 0.2 เพื่อให้ฉากสว่างขึ้นเล็กน้อย.
  • ค่าต่ำสุด 0 จะมีเงาดำสนิทสำหรับพิกเซลสีดำของ light map.

KSamplers (Raw และ Refine)

IC Raw Ksampler: ไม่เหมือนกับ sampler อื่น ๆ มันเริ่มต้นที่ขั้นตอน 8 แทนที่จะเป็นศูนย์, เนื่องจาก IC-Light Condition (เฟรมจะถูกลดจุดน้อยลงจากขั้นตอนที่ 8)

• สำหรับขั้นตอนสุดท้าย 20
• ขั้นตอนเริ่มต้นที่
  • 0 จะไม่มีผลจาก light map.
  • 5 จะมีผล 50 เปอร์เซ็นต์
  • 10 จะมีผล 100 เปอร์เซ็นต์.
  • ดังนั้น, ประมาณ 3-8 เป็นค่าที่ดีที่จะทดสอบ.

เมื่อ Generate New Background เป็น TRUE, คุณสามารถลดลงต่ำกว่า 5 เพื่อผลลัพธ์ที่ดีกว่า

• Ksampler Refine: มันทำงานเหมือนกับ Img2Img Refiner หลังจาก IC raw sampler.

สำหรับขั้นตอนสุดท้าย 25

• ขั้นตอนเริ่มต้นที่
  • 10 และต่ำกว่าจะทำงานเหมือน raw sampler และจะให้วัตถุที่มีการเปลี่ยนแปลง
  • 15 จะทำงานเหมือน refiner ที่เหมาะสม
  • 20 จะทำงานไม่ถูกต้อง
  • สูงกว่า 20 และสูงกว่าจะให้ผลลัพธ์ที่ยุ่งเหยิง
  • ดังนั้น, 16 เป็นค่าที่ดี.

Face Fix

• Upscale สำหรับ Face Fix: หากใบหน้าของคุณไม่เป็นที่พอใจหลังจาก face fix, คุณสามารถ upscale เป็นประมาณ 1.2 ถึง 1.6 เพื่อให้ใบหน้าดีขึ้น.
• Positive Prompt: ที่นี่คุณสามารถเขียน prompts สำหรับใบหน้า. ตั้งค่าเป็น “smiling” โดยค่าเริ่มต้น. คุณสามารถเปลี่ยนได้.
• Face Denoise: ใช้ประมาณ, 0.35 – 0.45. หากใช้ค่าสูงเกินไปอาจทำให้ใบหน้าเรนเดอร์ไม่ถูกต้องและอาจเกิดปัญหาใบหน้าเลื่อนได้.

การบันทึก

• Video Combine: นี่จะส่งออกเฟรมทั้งหมดในรูปแบบวิดีโอ. หาก node นี้ล้มเหลวเมื่อรวมกันแสดงว่ามีเฟรมมากเกินไปและหน่วยความจำไม่เพียงพอ. ลด frames load cap หากเกิดขึ้น
  • มันจะบันทึกใน ComfyUI > Outputs โดยค่าเริ่มต้น.
• เปลี่ยนเส้นทางการส่งออก: unmute node นี้, หากคุณต้องการบันทึกผลลัพธ์ไปยังตำแหน่งบันทึกที่กำหนดเอง

เกี่ยวกับผู้เขียน workflow นี้

Jerry Davos

• ช่อง YouTube: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

การติดต่อ

• อีเมล: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ