IC-Light | Video Relighting | AnimateDiff

ComfyUI IC-Light arbeidsflyt for Video Relighting

Lås opp hele potensialet i videoprosjektene dine med ComfyUI IC-Light arbeidsflyt, designet spesielt for å forbedre belysningen i dine "Human" karaktervideoer ved hjelp av et lyskart. Med ComfyUI IC-Light kan du enkelt transformere videoene dine ved å bare gi dine oppfordringer og lyskartelementer, som former og neonlys. Verktøyet vil lage en ny video med betydelig forbedret belysning.

HVORDAN BRUKE ComfyUI IC-Light arbeidsflyt

1. Last opp kildevideo: Start med å laste opp videoen du vil forbedre.
2. Last opp lyskartvideo eller enkelt lyskartbilde: Velg en lyskartvideo eller et enkelt bilde som skal fungere som din nye belysning mal.
3. Skriv inn Load Cap og andre innstillinger, samme innstillinger bør være i lyskartvideoen.
4. Skriv inn oppfordringer som beskriver dine nye lysinnstillinger som sollys eller neonlys.
5. Velg din modell. Realistisk modell er foretrukket.
6. Endre lyskartkomposisjon og andre innstillinger om nødvendig.
7. Trykk på render.

Utdata vil bli lagret i ComfyUI > Outputs

Inputs_1 - Innstillinger

Her har vi 5 innstillinger:

• Sampler Steps: Det bestemmer det totale antallet trinn KSampler tar for å rendere et bilde. Det bør ikke endres. [Standardverdi 26]
• Detail Enhancer: Det øker de små detaljene i den endelige rendering. [Bruk verdi mellom 0.1 og 1]
• Seed: Det kontrollerer generasjonsfrøet for hver KSamplers.
• Sampler CFG: Dette kontrollerer CFG-verdiene til KSamplers.
• Refiner Upscale: Dette fungerer som Highres Fix-verdien. [Bruk mellom 1.1 – 1.6 for beste resultater]

Oppfordringer

• Positive Prompt: Skriv inn oppfordringer som best beskriver bildet ditt med den nye belysningen.
• Negative Prompts: Det er konfigurert for å gi beste resultater. Føl deg fri til å redigere det.
• Clip Text Encode noder: Det hjelper med å kode tekst for å maksimere kvalitet. La det stå på “full”

Modeller og Loras

• Checkpoint: Velg en hvilken som helst realistic SD 1.5 modell for nøyaktige resultater. Føl deg fri til å velge en hvilken som helst SD 1.5 modell for stilistiske resultater.
• Loras: [Valgfritt] Velg en hvilken som helst loras fra den gitte listen hvis du ønsker det. Ikke bruk dem på full styrke. Bruk rundt 0.5-0.7 for best effekt

Last opp kildevideo

• Last opp kildevideo: Her klikker du og laster opp din Human Character video du vil endre lys på.
  • Den bør være under 100 MB, Comfy vil mislykkes med å laste opp stor størrelse.
  • Den bør ikke være lengre enn 15-20 sekunder. Det kan mislykkes med å rendere lengre videoer
  • Den bør være i 720p eller lavere
  • Bruk Skip Frames Nodes hvis du trenger å hoppe over noen startbilder. [Lyskartvideoen vil også hoppe over så mange bilder]
• Pass bilde størrelsesbegrensning: Her setter du grensen for rendering oppløsning, enten det er landskap eller portrett, maksimal oppløsning vil alltid være under eller lik satt verdi.
  • Bruk verdi mellom 800 – 1200 for beste resultater. [Dette vil påvirke Vram]

Viktig: Bruk Frames Load Cap på 10 for å teste ut først

• Bruk omtrent 200 - 300 bilder ved 1000 – 1200 pass størrelse, hvis du har 24 GB.
• Bruk 0 hvis du vil rendere alle bilder. [Ikke anbefalt for lengre videoer]

Mask og dybdeinnstillinger

• Mask: Den bruker Robust Video Matting, standardinnstillingene er fine.
• Depth ControlNet: Den bruker de nyeste DepthAnything v2 modellene.
  • Styrke og sluttprosent er satt til 75% for å gi optimale resultater
  • Bruk Co for beste resultater.

Lyskart

• Last opp lyskart: Klikk og last opp en lyskartvideo du ønsker.
  • Den vil automatisk skalere til kildevideoens dimensjoner
  • Sørg for at den er lengre eller lik kildevideoens dimensjoner ellers vil det gi feil.
• Lyskart ControlNet: Dette lyskartet brukes også som lys controlnet ved å bruke
• CN Strength og sluttprosent: Bruk lave verdier her, høyere verdier kan forårsake overeksponering eller skarp lys overgang.

Enkelt lyskart

• For å bruke et enkelt bilde som lyskart, slå på disse nodene og koble omkjøringsnoden til “Pick one Input” Node.

AnimateDIff

• Last inn Animatediff modell: Du kan bruke hvilken som helst modell for forskjellige effekter.
• Animatediff andre noder: Du må ha litt kunnskap om animatediff for å endre andre innstillinger [ Du kan finne dem ]
• Innstillinger SMZ: Dette er noden for å øke mer kvalitet på modellens pipeline, alle innstillinger er forhåndsdefinert for å fungere bra.

Komponering av lyskart og IC Conditioning

• De øverste justeringsnodene (i grå farge) er der for å kontrollere kondisjoneringen av IC-Light Conditioning, for å gjøre det mindre kontrastfylt og kontrollere lysstyrken.
• Generer ny bakgrunn: Når deaktivert vil den bruke de originale bildeinngangene og prøve å kartlegge detaljene som ligner kildevideoens bakgrunn i henhold til “Background Prompts” hvis tilstede i den positive promptboksen

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Når generer ny bakgrunn er aktivert: Den vil generere en ny bakgrunn med tanke på dybden

[1girl, sunlight, sunset, nature in the background, sky]

Også Depth ControlNet’s styrke og sluttprosent ble redusert til 45% for å ha et åpent område i bakgrunnen.

• Lyskart på toppen: Når True, vil lyskartet være på toppen av kildevideoen og mer dominerende, når False vil kilden være på toppen, mer dominerende og lysere
• Område som påvirker subjektet: 2 blendingsmoduser fungerer best
  • Multiply: Det vil mørkne skyggeområdene i henhold til lyskartet på toppen eller bunnen
  • Screen: Det vil lysne skyggeområdet i henhold til lyskartet på toppen eller bunnen
  • Blend Factor er for intensiteten.

• Generelle justeringer: Dette vil kontrollere lysstyrken, kontrasten, gamma, fargetonen til den endelige bearbeidede lyskartet fra ovenfor.
• Bilde Remap: Bruk denne noden for å kontrollere den generelle globale lysstyrken og mørkheten til hele bildet.
  • Høyere minverdi vil lysne scenen
  • Lavere maksverdier vil gjøre scenen mørkere og kan konvertere de lysere områdene til morfende objekter som QrCode Monster CN
  • Bruk for det meste minverdien til 0.1 eller 0.2 for å lyse opp en scene litt.
  • Minverdi 0 vil ha en bekmørk skygge for svarte piksler i lyskartet.

KSamplers (Raw og Refine)

IC Raw Ksampler: I motsetning til andre samplere starter den på trinn 8 i stedet for null, på grunn av IC-Light Condition (Bildene blir avstøyd fra 8. trinn)

• For eksempel, et slutttrinn på 20
• Starttrinn på
  • 0 vil ha ingen lyskarteffekt.
  • 5 vil ha 50 prosent effekt
  • 10 vil ha 100 prosent effekt.
  • Så, omtrent 3-8 er en god verdi å teste fra.

Når generer ny bakgrunn er TRUE, kan du gå lavere enn 5 for bedre resultater

• Ksampler Refine: Det fungerer som en Img2Img Refiner etter IC råsampler.

For et slutttrinn på 25

• Starttrinn på
  • 10 og under vil fungere som råsampler og vil gi deg morfende objekter
  • 15 vil fungere som en ordentlig refiner
  • 20 vil ikke fungere ordentlig
  • Over 20 og over vil gi rotete resultater
  • Så, standard 16 er bra.

Ansiktsfix

• Oppskalering for ansiktsfix: Hvis ansiktene dine ikke er tilfredsstillende etter ansiktsfix, kan du oppskalere det til omtrent 1.2 til 1.6 for å få bedre ansikter.
• Positive Prompt: Her kan du skrive oppfordringene for ansiktet. Det er satt til “smiling” som standard. Du kan endre det.
• Face Denoise: Bruk rundt 0.35 – 0.45. Ved høyere kan ansiktet rendere feil og også problemer med glidende ansikter kan oppstå.

Lagre

• Videokombinering: Dette vil eksportere alle bildene i videoformat. Hvis denne noden mislykkes ved kombinering betyr det at det er for mange bilder, og det går tom for ram. Reduser frames load cap hvis det skjer
  • Den vil lagre i ComfyUI > Outputs som standard.
• Endre utgangssti: Slå på denne noden, hvis du vil lagre utdataene til en tilpasset lagringsplass

Om denne arbeidsflytens forfatter

Jerry Davos

• YouTube-kanal: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Kontakter

• E-post: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ