IC-Light | Video Relighting | AnimateDiff

ComfyUI IC-Light workflow voor Video Relighting

Ontgrendel het volledige potentieel van je videoprojecten met de ComfyUI IC-Light workflow, speciaal ontworpen om de verlichting in je "Human" karakter video's te verbeteren met een lichtkaart. Met ComfyUI IC-Light kun je je video's eenvoudig transformeren door simpelweg je prompts en lichtkaartelementen, zoals vormen en neonlichten, te leveren. De tool maakt een nieuwe video met aanzienlijk verbeterde verlichting.

HOE ComfyUI IC-Light workflow te gebruiken

1. Upload Bronvideo: Begin met het uploaden van de video die je wilt verbeteren.
2. Upload Lichtkaartvideo of Enkele Lichtkaartafbeelding: Kies een lichtkaartvideo of een enkele afbeelding om als je nieuwe verlichtingssjabloon te dienen.
3. Voer Load Cap en andere instellingen in, dezelfde instellingen moeten in Lichtkaartvideo staan.
4. Voer Prompts in die je nieuwe lichtinstellingen beschrijven, zoals zonlicht of neonlichten.
5. Selecteer je model. Realistisch model heeft de voorkeur.
6. Wijzig Lichtkaart Composing en andere instellingen indien nodig.
7. Druk op render.

Uitvoeren worden opgeslagen in ComfyUI > Outputs

Inputs_1 - Instellingen

Hier hebben we 5 instellingen:

• Sampler Steps: Dit bepaalt het totale aantal stappen dat KSampler nodig heeft om een afbeelding te renderen. Dit moet niet worden gewijzigd. [Standaardwaarde 26]
• Detail Enhancer: Dit verhoogt de kleine details in de uiteindelijke render. [Gebruik waarde tussen 0.1 en 1]
• Seed: Dit controleert de generatieseed voor elke KSamplers.
• Sampler CFG: Dit regelt de CFG-waarden van de KSamplers.
• Refiner Upscale: Dit werkt als de Highres Fix-waarde. [Gebruik tussen 1.1 – 1.6 voor de beste resultaten]

Prompts

• Positive Prompt: Voer prompts in die je afbeelding met de nieuwe verlichting het beste beschrijven.
• Negative Prompts: Dit is geconfigureerd om de beste resultaten te geven. Voel je vrij om het te bewerken.
• Clip Text Encode nodes: Dit helpt bij het coderen van tekst om de kwaliteit te maximaliseren. Laat het op "full"

Models and Loras

• Checkpoint: Kies een realistisch SD 1.5 model voor nauwkeurige resultaten. Voel je vrij om elk SD 1.5 model te kiezen voor stilistische resultaten.
• Loras: [Optioneel] Kies een loras uit de gegeven lijst als je dat wilt. Gebruik ze niet op volle sterkte. Gebruik ongeveer 0.5-0.7 voor het beste effect

Bronvideo Invoer

• Upload Bronvideo: Hier klik je en upload je je Human Character video waarvan je de verlichting wilt wijzigen.
  • Het moet onder de 100 MB zijn, Comfy zal falen om grote bestanden te uploaden.
  • Het mag niet langer zijn dan 15-20 seconden. Het kan falen om langere video's te renderen.
  • Het moet in 720p of lager zijn.
  • Gebruik Skip Frames Nodes als je enkele beginframes wilt overslaan. [Lichtkaartvideo's zullen ook zoveel frames overslaan]
• Fit Image Size Limiter: Hier beperk je de renderresolutie, of het nu landschap of portret is, de maximale resolutie zal altijd onder of gelijk aan de ingestelde waarde zijn.
  • Gebruik waarde tussen 800 – 1200 voor de beste resultaten. [Dit zal invloed hebben op Vram]

Belangrijk: Gebruik Frames Load Cap van 10 om eerst te testen

• Gebruik ongeveer 200 - 300 frames bij 1000 – 1200 fit size, als je 24 GB hebt.
• Gebruik 0 als je alle frames wilt renderen. [Niet aanbevolen voor langere video's]

Masker en Diepte Instellingen

• Masker: Het gebruikt de Robust Video Matting, de standaardinstellingen zijn prima.
• Depth ControlNet: Het gebruikt de nieuwste DepthAnything v2 modellen.
  • Sterkte en Eindpercentage zijn ingesteld op 75% voor optimale resultaten
  • Gebruik Co voor de beste resultaten.

Lichtkaart

• Upload Lichtkaart: Klik en upload een lichtkaartvideo die je wilt.
  • Het zal automatisch schalen naar de afmetingen van de bronvideo
  • Zorg ervoor dat het langer of gelijk is aan de afmetingen van de bronvideo, anders geeft het een fout.
• Light Map ControlNet: Deze lichtkaart wordt ook gebruikt als Light controlnet met
• CN Sterkte en Eindpercentage: Gebruik hier lage waarden, hogere waarden kunnen overbelichting of scherpe lichtovergangen veroorzaken.

Enkele Lichtkaart

• Om een enkele afbeelding als lichtkaart te gebruiken, demp deze nodes en verbind de omleidingsnode met de "Pick one Input" node.

AnimateDIff

• Laad Animatediff Model: Je kunt elk model gebruiken voor verschillende effecten.
• Animatediff Andere nodes: Je moet enige kennis hebben van animatediff om andere instellingen te wijzigen [Je kunt ze vinden ]
• Instellingen SMZ: Dit is een node om meer kwaliteit aan de modelpipeline toe te voegen, alle instellingen zijn vooraf ingesteld om goed te werken.

Componeren van Lichtkaart en IC Conditioning

• De bovenstaande aanpassingsnodes (in grijze kleur) zijn er om de conditioning van de IC-Light conditioning te regelen, om het minder contrast te maken en de helderheid te regelen.
• Genereer nieuwe achtergrond: Wanneer uitgeschakeld, zal het de originele afbeeldingsinvoer gebruiken en proberen de details vergelijkbaar met de achtergrond van de bronvideo in kaart te brengen volgens "Background Prompts" als die aanwezig zijn in het positieve promptvak

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Wanneer Genereer nieuwe achtergrond is ingeschakeld: Het zal een nieuwe achtergrond genereren rekening houdend met de diepte

[1girl, sunlight, sunset, nature in the background, sky]

Ook werd de sterkte en het eindpercentage van Depth ControlNet verlaagd tot 45% om een open gebied op de achtergrond te hebben.

• Lichtkaart bovenop: Wanneer waar, zal de lichtkaart bovenop de bronvideo liggen en dominanter zijn, wanneer onwaar zal de bron bovenop liggen, dominanter en helderder zijn
• Onderwerp Affecterende Gebied: 2 mengmodi werken het beste
  • Multiply: Het zal de schaduwgebieden donkerder maken volgens de lichtkaart bovenop of onderaan
  • Screen: Het zal het schaduwgebied helderder maken volgens de lichtkaart bovenop of onderaan
  • Blend Factor is voor de intensiteit.

• Algemene Aanpassingen: Dit regelt de helderheid, het contrast, de gamma, de tint van de uiteindelijk verwerkte lichtkaart van hierboven.
• Afbeelding Remap: Gebruik deze node om de algehele globale helderheid en donkerte van de hele afbeelding te regelen.
  • Hogere minimumwaarde zal de scène verlichten
  • Lagere maximale waarden zullen de scène donkerder maken en de helderdere gebieden kunnen omzetten in morphing-objecten zoals de QrCode Monster CN
  • Gebruik meestal de minimumwaarde van 0.1 of 0.2 om een scène een beetje op te lichten.
  • Minimumwaarde 0 zal een pikzwarte schaduw hebben voor zwarte pixels van de lichtkaart.

KSamplers (Raw en Refine)

IC Raw Ksampler: In tegenstelling tot elke andere sampler begint het bij stap 8 in plaats van nul, vanwege de IC-Light Condition (de frames worden gedenoised vanaf de 8e stap)

• Bijvoorbeeld, een eindstap van 20
• Start Stap bij
  • 0 zal geen lichtkaarteffect hebben.
  • 5 zal 50 procent effect hebben
  • 10 zal 100 procent effect hebben.
  • Dus ongeveer 3-8 is een goede waarde om mee te testen.

Wanneer Genereer Nieuwe Achtergrond WAAR is, kun je lager dan 5 gaan voor betere resultaten

• Ksampler Refine: Dit werkt als een Img2Img Refiner na IC raw sampler.

Voor een eindstap van 25

• Start Stap bij
  • 10 en lager zal werken als raw sampler en je morphing-objecten geven
  • 15 zal werken als een echte refiner
  • 20 zal niet goed werken
  • Boven 20 en hoger zal verwarde resultaten opleveren
  • Dus standaard 16 is goed.

Gezicht Fix

• Upscale voor Gezicht Fix: Als je gezichten niet bevredigend zijn na gezichtsfixatie, kun je het opschalen tot ongeveer 1.2 tot 1.6 voor betere gezichten.
• Positive Prompt: Hier kun je de prompts voor het gezicht schrijven. Het is standaard ingesteld op "smiling". Je kunt het wijzigen.
• Face Denoise: Gebruik ongeveer 0.35 – 0.45. Bij hogere waarden kan het gezicht onjuist worden weergegeven en kan ook het probleem van schuivende gezichten optreden.

Opslaan

• Video Combineren: Dit zal alle frames in een videoformaat exporteren. Als deze node faalt bij het combineren, betekent dit dat er te veel frames zijn en het RAM-geheugen opraakt. Verminder de frames load cap als dit gebeurt
  • Het zal standaard opslaan in ComfyUI > Outputs.
• Wijzig Output Path: Demp deze node, als je de output naar een aangepaste opslaglocatie wilt opslaan

Over de auteur van deze workflow

Jerry Davos

• YouTube Channel: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Contacten

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ