IC-Light | Videobelysning | AnimateDiff

ComfyUI IC-Light arbetsflöde för Videobelysning

Lås upp den fulla potentialen i dina videoprojekt med ComfyUI IC-Light arbetsflöde, designat specifikt för att förbättra belysningen i dina "Human" karaktärsvideor med hjälp av en ljuskarta. Med ComfyUI IC-Light kan du enkelt omvandla dina videor genom att helt enkelt tillhandahålla dina prompts och ljuskartselement, som former och neonljus. Verktyget skapar en ny video med betydligt förbättrad belysning.

HUR MAN ANVÄNDER ComfyUI IC-Light arbetsflöde

1. Ladda upp Källvideo: Börja med att ladda upp videon du vill förbättra.
2. Ladda upp Ljuskartvideo eller Enkel Ljuskartbild: Välj en ljuskartvideo eller en enkel bild som ska fungera som din nya belysningsmall.
3. Ange Load Cap och andra Inställningar, samma inställningar bör vara i Ljuskartvideon.
4. Ange Prompts som beskriver dina nya ljusinställningar som solljus eller neonljus.
5. Välj Din Modell. Realistisk modell föredras.
6. Ändra Ljuskartkomposition och andra Inställningar om det behövs.
7. Tryck på rendera.

Utdata sparas i ComfyUI > Outputs

Inputs_1 - Inställningar

Här har vi 5 Inställningar:

• Sampler Steps: Det bestämmer det totala antalet steg KSampler tar för att rendera en bild. Det bör inte ändras. [Standardvärde 26]
• Detail Enhancer: Det ökar de små detaljerna i den slutliga renderingen. [Använd värde mellan 0.1 och 1]
• Seed: Det kontrollerar Generations Seed för varje KSamplers.
• Sampler CFG: Detta kontrollerar CFG-värdena för KSamplers.
• Refiner Upscale: Detta fungerar som Highres Fix-värdet. [Använd mellan 1.1 – 1.6 för bästa resultat]

Prompts

• Positive Prompt: Ange prompts som bäst beskriver din bild med den nya belysningen.
• Negative Prompts: Det är konfigurerat för att ge bästa resultat. Känn dig fri att redigera det.
• Clip Text Encode noder: Det hjälper till att koda text för att maximera kvaliteten. Lämna det på “full”

Modeller och Loras

• Checkpoint: Välj vilken realistic SD 1.5 modell som helst för noggranna resultat. Känn dig fri att välja vilken SD 1.5-modell som helst för stilistiska resultat.
• Loras: [Valfritt] Välj vilken loras som helst från den givna listan om du önskar. Använd dem inte på full styrka. Använd runt 0.5-0.7 för bästa effekt

Ladda upp Källvideo

• Ladda upp Källvideo: Här klickar du och laddar upp din Human Character-video som du vill ändra belysningen på.
  • Den bör vara under 100 MB, Comfy kommer att misslyckas med att ladda upp stor storlek.
  • Den bör inte vara längre än 15-20 sekunder. Det kan misslyckas med att rendera längre videor
  • Den bör vara i 720p eller lägre
  • Använd Skip Frames Nodes om du behöver hoppa över några startbilder. [Ljuskartvideon kommer också att hoppa över så många bilder]
• Fit Image Size Limiter: Här begränsar du renderingsupplösningen, oavsett om det är landskap eller porträtt, maxupplösningen kommer alltid att vara under eller lika med det inställda värdet.
  • Använd värde mellan 800 – 1200 för bästa resultat. [Detta kommer att påverka Vram]

Viktigt: Använd Frames Load Cap på 10 för att testa först

• Använd cirka 200 - 300 bilder vid 1000 – 1200 fit size, om du har 24 GB.
• Använd 0 om du vill rendera alla bilder. [Rekommenderas inte för längre videor]

Mask och Djupinställningar

• Mask: Det använder Robust Video Matting, standardinställningarna är fina.
• Depth ControlNet: Det använder de senaste DepthAnything v2 modellerna.
  • Styrka och Slutprocent är inställda på 75% för att ge optimala resultat
  • Använd Co för bästa resultat.

Ljuskarta

• Ladda upp Ljuskarta: Klicka och ladda upp en ljuskartvideo du vill.
  • Den kommer att skalas automatiskt till källvideons dimensioner
  • Se till att den är längre eller lika med källvideons dimensioner annars kommer det att ge fel.
• Light Map ControlNet: Denna ljuskarta används också som Light controlnet med
• CN Styrka och Slutprocent: Använd låga värden här, högre värden kan orsaka överexponering eller skarpa ljusövergångar.

Enkel Ljuskarta

• För att använda en enda bild som ljuskarta, avaktivera dessa noder och anslut omdirigeringsnoden till “Pick one Input” Node.

AnimateDIff

• Ladda Animatediff Modell: Du kan använda vilken modell som helst för olika effekter.
• Animatediff Andra noder: Du behöver ha viss kunskap om animatediff för att ändra andra inställningar [ Du kan hitta dem ]
• Inställningar SMZ: Detta är en nod för att öka kvaliteten på modellens pipeline, alla inställningar är fördefinierade för att fungera bra.

Komponering av Ljuskarta och IC-Conditioning

• De ovanstående justeringsnoderna (i grå färg) är där för att kontrollera conditioning av IC-Light Conditioning, för att göra det mindre kontrast och kontrollera ljusstyrkan.
• Generera Ny Bakgrund: När inaktiverad kommer den använda originalbildens indata och försöka kartlägga detaljerna liknande källvideons bakgrund enligt “Bakgrundsprompts” om de finns i den positiva promptboxen

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• När Generera Ny Bakgrund är Aktiverad: Den kommer att generera en ny bakgrund med hänsyn till djupet

[1girl, sunlight, sunset, nature in the background, sky]

Även Depth ControlNet’s Styrka och Slutprocent minskades till 45 % för att ha ett öppet område i bakgrunden.

• Ljuskarta På Toppen: När True, kommer ljuskartan vara på toppen av källvideon och mer dominant, När False kommer källan vara på toppen, mer dominant och ljusare
• Områden som Påverkar Subjektet: 2 Blandningslägen fungerar bäst
  • Multiply: Det kommer att mörka skuggområdena enligt ljuskartan ovanpå eller under
  • Screen: Det kommer att ljusa upp skuggområdet enligt ljuskartan ovanpå eller under
  • Blandningsfaktor är för intensiteten.

• Övergripande Justeringar: Detta kommer att kontrollera ljusstyrka, kontrast, gamma, nyans av den slutliga bearbetade ljuskartan från ovan.
• Bildomkarta: Använd denna nod för att kontrollera den övergripande globala ljusstyrkan och mörkret i hela bilden.
  • Högre minvärde kommer att ljusa upp scenen
  • Lägre Maxvärden kommer att göra scenen mörkare och kan omvandla de ljusare områdena till morphing-objekt som QrCode Monster CN
  • Använd mestadels Minvärdet till 0.1 eller 0.2 för att lysa upp en scen lite.
  • Minvärde 0 kommer att ha en kolsvart skugga för svarta pixlar på ljuskartan.

KSamplers (Rå och Förfina)

IC Rå Ksampler: Till skillnad från andra samplers startar den vid steg 8 istället för noll, på grund av IC-Light Condition (Bilderna avbrusas från steg 8)

• Till exempel ett slutsteg på 20
• Startsteg på
  • 0 kommer att ha ingen ljuskartseffekt.
  • 5 kommer att ha 50 procent effekt
  • 10 kommer att ha 100 procent effekt.
  • Så, cirka 3-8 är ett bra värde att testa från.

När Generera Ny Bakgrund är TRUE, kan du gå lägre än 5 för bättre resultat

• Ksampler Förfina: Det fungerar som en Img2Img Refiner Efter IC rå sampler.

För ett slutsteg på 25

• Startsteg på
  • 10 och under kommer att fungera som rå sampler och ge morphing-objekt
  • 15 kommer att fungera som en korrekt förfina
  • 20 kommer inte att fungera korrekt
  • Över 20 och över kommer att producera röriga resultat
  • Så, standard 16 är bra.

Ansiktsfix

• Förstora För Ansiktsfix: Om dina ansikten inte är tillfredsställande efter ansiktsfix, kan du förstora dem till cirka 1.2 till 1.6 för att få bättre ansikten.
• Positiv Prompt: Här kan du skriva prompts för ansiktet. Det är inställt på “leende” som standard. Du kan ändra det.
• Ansiktsavbrusning: Använd runt 0.35 – 0.45. Vid högre kan ansiktet renderas felaktigt och även glidande ansiktsproblem kan uppstå.

Spara

• Videokombinering: Detta kommer att exportera alla bilder i videoformat. Om denna nod misslyckas vid kombination betyder det att det finns för många bilder och det tar slut på RAM. Minska frames load cap om det händer
  • Det kommer att sparas i ComfyUI > Outputs som standard.
• Ändra Utmatningsväg: Avaktivera denna nod, om du vill spara utdata till en anpassad spara plats

Om denna arbetsflödes Författare

Jerry Davos

• YouTube-kanal: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Kontakter

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ