IC-Light | Video Relighting | AnimateDiff

ComfyUI IC-Light workflow for Video Relighting

Lås op for det fulde potentiale af dine videoprojekter med ComfyUI IC-Light workflow, designet specifikt til at forbedre belysningen i dine "Human" karaktervideoer ved hjælp af et lyskort. Med ComfyUI IC-Light kan du nemt transformere dine videoer ved blot at levere dine prompts og lyskort elementer, såsom former og neonlys. Værktøjet vil skabe en ny video med betydeligt forbedret belysning.

SÅDAN BRUGER DU ComfyUI IC-Light workflow

1. Upload Kildevideo: Start med at uploade den video, du vil forbedre.
2. Upload Lyskort Video eller Enkelt Lyskort Billede: Vælg en lyskort video eller et enkelt billede som skal fungere som din nye belysningsskabelon.
3. Indtast Load Cap og andre Indstillinger, samme indstillinger skal være i Lyskort Video.
4. Indtast Prompts som beskriver dine nye lysindstillinger som Sollys eller neonlys.
5. Vælg Din Model. Realistisk model foretrækkes.
6. Ændr Lyskort Sammensætning og andre Indstillinger hvis nødvendigt.
7. Tryk på render.

Outputs vil blive gemt i ComfyUI > Outputs

Inputs_1 - Indstillinger

Her har vi 5 Indstillinger:

• Sampler Steps: Det bestemmer det samlede antal trin KSampler tager for at gengive et billede. Det bør ikke ændres. [Standard Værdi 26]
• Detail Enhancer: Det Øger de små detaljer i den endelige gengivelse. [Brug værdi Mellem 0.1 og 1]
• Seed: Det styrer Generations Seed for hver KSamplers.
• Sampler CFG: Dette Styrer CFG værdierne for KSamplers.
• Refiner Upscale: Dette fungerer som Highres Fix værdi. [Brug mellem 1.1 – 1.6 for bedste resultater]

Prompts

• Positive Prompt: Indtast prompts som bedst beskriver dit billede med den nye belysning.
• Negative Prompts: Det er konfigureret til at give de bedste resultater. Du er velkommen til at redigere det.
• Clip Text Encode nodes: Det hjælper med at kode tekst for at maksimere kvaliteten. Lad det stå på "full"

Models and Loras

• Checkpoint: Vælg en hvilken som helst realistic SD 1.5 model for nøjagtige resultater. Føl dig fri til at vælge en hvilken som helst SD 1.5 model for stilistiske resultater.
• Loras: [Valgfrit] Vælg en hvilken som helst lora fra den givne liste, hvis du ønsker det. Brug dem ikke ved fuld styrke. Brug omkring 0.5-0.7 for bedste effekt

Input Kildevideo

• Upload Kildevideo: Her klikker du og uploader din Human Character video, som du vil ændre lyset på.
  • Den skal være under 100 MB, Comfy vil fejle ved upload af stor størrelse.
  • Den skal ikke være længere end 15-20 sekunder. Den kan fejle ved gengivelse af længere videoer
  • Den skal være i 720p eller lavere
  • Brug Skip Frames Nodes hvis du har brug for at springe nogle startframes over. [Lyskort videoen vil også springe dette antal frames over]
• Fit Image Size Limiter: Her begrænser du gengivelsesopløsningen, uanset om det er landskab eller portræt, vil max opløsning altid være under eller lig med den satte værdi.
  • Brug værdi mellem 800 – 1200 for bedste resultater. [Dette vil påvirke Vram]

Vigtigt: Brug Frames Load Cap på 10 for at Teste Først

• Brug Omkring 200 - 300 frames ved 1000 – 1200 fit størrelse, hvis du har 24 GB.
• Brug 0 hvis du vil gengive alle frames. [Ikke Anbefalet for længere videoer]

Mask and Depth Settings

• Mask: Det bruger Robust Video Matting, standardindstillingerne er fine.
• Depth ControlNet: Det bruger de nyeste DepthAnything v2 modeller.
  • Styrke og Slut Procent er sat til 75% for at give optimale resultater
  • Brug Co for bedste resultater.

Light Map

• Upload Light Map: Klik og upload en lyskort video du ønsker.
  • Den vil auto skalere til kildens video dimensioner
  • Sørg for, at den er længere eller lig med kildens video dimensioner ellers vil den give fejl.
• Light Map ControlNet: Dette lyskort bruges også som Light controlnet ved hjælp af
• CN Styrke og Slut Procent: Brug lave værdier her, højere værdier kan forårsage overeksponering eller skarpe lys overgange.

Single Light Map

• For at bruge et enkelt billede som lyskort, unmute disse noder og forbind omdirigeringsnoden til "Pick one Input" Node.

AnimateDIff

• Load Animatediff Model: Du kan bruge en hvilken som helst model til forskellige effekter.
• Animatediff Andre noder: Du skal have noget kendskab til animatediff for at ændre andre indstillinger [ Du kan finde dem ]
• Settings SMZ: Dette er noden til at øge kvaliteten af model pipeline, alle indstillinger er foruddefinerede til at fungere godt.

Sammensætning af Lyskort og IC Conditioning

• De ovenstående justeringsnoder (i grå farve) er der for at kontrollere Conditioning af IC-Light Conditioning, for at gøre det mindre kontrastfuldt og kontrollere lysstyrken.
• Generer Ny baggrund: Når deaktiveret vil det tage de originale billedindgange og forsøge at kortlægge detaljerne svarende til kildens video baggrund i henhold til "Background Prompts" hvis til stede i den positive prompt boks

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Når Generer Ny baggrund er aktiveret: Det vil generere en ny baggrund med hensyn til dybden

[1girl, sunlight, sunset, nature in the background, sky]

Også Depth ControlNet’s Styrke og Slut Procent blev reduceret til 45 % for at have et åbent område i baggrunden.

• Light Map on Top: Når sand, vil lyskortet være øverst på kildens video og mere dominerende. Når falsk, vil kilden være øverst, mere dominerende og lysere
• Subject Affecting Area: 2 Blendningstilstande fungerer bedst
  • Multiply: Det vil formørke skyggeområderne i henhold til lyskort øverst eller nederst
  • Screen: Det vil lysne skyggeområderne i henhold til lyskort øverst eller nederst
  • Blend Factor er for intensiteten.

• Overordnede Justeringer: Dette vil kontrollere lysstyrken, kontrasten, gamma, farvetonen af den endeligt bearbejdede lyskort fra ovenstående.
• Image Remap: Brug denne node til at kontrollere den overordnede globale lysstyrke og mørke hele billedet.
  • Højere min værdi vil lysne scenen
  • Lavere max værdier vil gøre scenen mørkere og kan konvertere de lysere områder til morfende objekter som QrCode Monster CN
  • Brug for det meste min værdi til 0.1 eller 0.2 for at lyse en scene lidt op.
  • Min Værdi 0 vil have en kulsort skygge for sorte pixels af lyskortet.

KSamplers (Raw and Refine)

IC Raw Ksampler: I modsætning til andre samplere starter den ved trin 8 i stedet for nul, på grund af IC-Light Condition (Frames er denoised fra 8. trin)

• For eksempel, et sluttrin på 20
• Start Trin ved
  • 0 vil have ingen lyskort effekt.
  • 5 vil have 50 procent effekt
  • 10 vil have 100 procent effekt.
  • Så, omkring 3-8 er en god værdi at teste fra.

Når Generer Ny Baggrund er SAND, kan du gå lavere end 5 for bedre resultater

• Ksampler Refine: Det fungerer som en Img2Img Refiner Efter IC raw sampler.

For et sluttrin på 25

• Start Trin ved
  • 10 og derunder vil fungere som raw sampler og vil give dig morfende objekter
  • 15 vil fungere som en ordentlig refiner
  • 20 vil ikke fungere korrekt
  • Over 20 og derover vil producere rodede resultater
  • Så, Standard 16 er godt.

Face Fix

• Upscale For Face Fix: Hvis dine ansigter ikke er tilfredsstillende efter face fix, kan du upscale det til omkring 1.2 til 1.6 for at få bedre ansigter.
• Positive Prompt: Her kan du skrive prompts for ansigtet. Det er sat til "smiling" som standard. Du kan ændre det.
• Face Denoise: Brug Omkring, 0.35 – 0.45. Ved højere kan ansigtet gengives forkert og også glide ansigter problem kan opstå.

Saving

• Video Combine: Dette vil eksportere alle frames i et videoformat. Hvis denne node fejler ved kombination, betyder det, at der er for mange frames, og den løber tør for ram. Reducer frames load cap hvis det sker
  • Det vil gemme i ComfyUI > Outputs som standard.
• Skift Output Path: Unmute denne node, hvis du vil gemme output til en brugerdefineret gemplacering

Om denne workflows Forfatter

Jerry Davos

• YouTube Kanal: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Kontakter

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ