IC-Light | Video Relighting | AnimateDiff

ComfyUI IC-Light workflow pro Video Relighting

Odemkněte plný potenciál vašich video projektů s ComfyUI IC-Light workflow, navrženým speciálně pro zlepšení osvětlení ve vašich "Human" videích pomocí světelné mapy. S ComfyUI IC-Light můžete snadno transformovat vaše videa jednoduše zadáním vašich promptů a prvků světelné mapy, jako jsou tvary a neonová světla. Nástroj vytvoří nové video s výrazně vylepšeným osvětlením.

JAK POUŽÍVAT ComfyUI IC-Light workflow

1. Nahrajte zdrojové video: Začněte nahráním videa, které chcete vylepšit.
2. Nahrajte video světelné mapy nebo jediný obrázek světelné mapy: Vyberte video světelné mapy nebo jediný obrázek, který bude sloužit jako vaše nová šablona osvětlení.
3. Zadejte Load Cap a další nastavení, stejná nastavení by měla být ve videu světelné mapy.
4. Zadejte prompty, které popisují vaše nové světelné nastavení, jako je sluneční světlo nebo neonová světla.
5. Vyberte svůj model. Realistický model je preferován.
6. Pokud je potřeba, změňte skládání světelné mapy a další nastavení.
7. Stiskněte render.

Výstupy budou uloženy v ComfyUI > Outputs

Inputs_1 - Nastavení

Zde máme 5 nastavení:

• Sampler Steps: Určuje celkový počet kroků, které KSampler provede k vykreslení obrázku. Nemělo by se měnit. [Výchozí hodnota 26]
• Detail Enhancer: Zvyšuje drobné detaily ve finálním renderu. [Použijte hodnotu mezi 0.1 a 1]
• Seed: Řídí generaci semene pro každý KSampler.
• Sampler CFG: Řídí hodnoty CFG pro KSampler.
• Refiner Upscale: Funguje jako hodnota Highres Fix. [Použijte mezi 1.1 – 1.6 pro nejlepší výsledky]

Prompty

• Positive Prompt: Zadejte prompty, které nejlépe popisují váš obrázek s novým osvětlením.
• Negative Prompts: Je nakonfigurován tak, aby poskytoval nejlepší výsledky. Klidně jej upravte.
• Clip Text Encode nodes: Pomáhá s kódováním textu pro maximální kvalitu. Nechte to na “full”

Models and Loras

• Checkpoint: Vyberte jakýkoli model realistic SD 1.5 pro přesné výsledky. Klidně vyberte jakýkoli model SD 1.5 pro stylistické výsledky.
• Loras: [Volitelné] Vyberte jakýkoli loras ze seznamu, pokud si přejete. Nepoužívejte je na plnou sílu. Použijte kolem 0.5-0.7 pro nejlepší efekt

Zdrojové video

• Nahrajte zdrojové video: Zde klikněte a nahrajte vaše video s lidskými postavami, které chcete změnit osvětlení.
  • Mělo by být pod 100 MB, Comfy nebude schopno nahrát velké soubory.
  • Mělo by být kratší než 15-20 sekund. Může selhat při renderování delších videí
  • Mělo by být v 720p nebo nižším
  • Použijte Skip Frames Nodes, pokud potřebujete přeskočit některé počáteční snímky. [Video světelné mapy také přeskočí stejný počet snímků]
• Fit Image Size Limiter: Zde omezíte rozlišení renderování, ať už je to na šířku nebo na výšku, maximální rozlišení bude vždy pod nebo rovno nastavené hodnotě.
  • Použijte hodnotu mezi 800 – 1200 pro nejlepší výsledky. [To ovlivní Vram]

Důležité: Použijte Frames Load Cap 10 pro první testování

• Použijte asi 200 - 300 snímků při 1000 – 1200 fit size, pokud máte 24 GB.
• Použijte 0, pokud chcete renderovat všechny snímky. [Nedoporučuje se pro delší videa]

Nastavení masky a hloubky

• Maska: Používá Robust Video Matting, výchozí nastavení jsou v pořádku.
• Depth ControlNet: Používá nejnovější modely DepthAnything v2.
  • Síla a konec procent jsou nastaveny na 75 % pro optimální výsledky
  • Použijte Co pro nejlepší výsledky.

Světelná mapa

• Nahrajte světelnou mapu: Klikněte a nahrajte světelné video, které chcete.
  • Automaticky se přizpůsobí rozměrům zdrojového videa
  • Ujistěte se, že je delší nebo rovna rozměrům zdrojového videa, jinak se objeví chyba.
• Light Map ControlNet: Tato světelná mapa se také používá jako Light controlnet pomocí
• CN Strength a End Percent: Použijte nízké hodnoty zde, vyšší hodnoty mohou způsobit přepálení nebo ostré světelné přechody.

Jednoduchá světelná mapa

• Pro použití jediného obrázku jako světelné mapy, zrušte ztlumení těchto uzlů a připojte reroute uzel k uzlu “Pick one Input”.

AnimateDiff

• Načtěte model Animatediff: Můžete použít jakýkoli model pro různé efekty.
• Animatediff Other nodes: Je potřeba mít nějaké znalosti o animatediffu, aby bylo možné změnit další nastavení [Najdete je ]
• Nastavení SMZ: Toto je uzel pro zvýšení kvality modelu Pipeline, všechna nastavení jsou přednastavena pro dobré fungování.

Skládání světelné mapy a IC Conditioning

• Horní uzly pro úpravu (v šedé barvě) jsou zde pro kontrolu podmínek IC-Light Conditioning, aby se snížil kontrast a kontroloval jas.
• Generování nového pozadí: Když je deaktivováno, použije původní vstupy obrázku a pokusí se mapovat detaily podobné pozadí zdrojového videa podle “Background Prompts” pokud jsou přítomny v boxu pozitivních promptů

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Když je generování nového pozadí povoleno: Vygeneruje nové pozadí s ohledem na hloubku

[1girl, sunlight, sunset, nature in the background, sky]

Také byla snížena síla a konec procenta Depth ControlNet na 45 % pro otevřenou oblast v pozadí.

• Světelná mapa nahoře: Když je pravda, světelná mapa bude nahoře zdrojového videa a dominantnější, když je nepravda, zdroj bude nahoře, dominantnější a jasnější
• Oblast ovlivňující subjekt: 2 režimy míchání fungují nejlépe
  • Multiply: Ztmaví stínové oblasti podle toho, zda je světelná mapa nahoře nebo dole
  • Screen: Zjasní stínové oblasti podle toho, zda je světelná mapa nahoře nebo dole
  • Faktor míchání je pro intenzitu.

• Celkové úpravy: Toto bude kontrolovat jas, kontrast, gamma, odstín finálně zpracované světelné mapy shora.
• Přemapování obrázku: Použijte tento uzel pro kontrolu celkového globálního jasu a tmavosti celého obrázku.
  • Vyšší minimální hodnota zesvětlí scénu
  • Nižší maximální hodnoty ztmaví scénu a mohou převést jasné oblasti na morfující objekty jako QR kódový monster CN
  • Použijte většinou minimální hodnotu 0.1 nebo 0.2 pro lehké osvětlení scény.
  • Minimální hodnota 0 bude mít úplně černé stíny pro černé pixely světelné mapy.

KSamplers (Raw a Refine)

IC Raw Ksampler: Na rozdíl od jiných samplerů začíná na kroku 8 místo nuly, kvůli IC-Light Condition (Snímky jsou denoised od 8. kroku)

• Například konečný krok 20
• Počáteční krok na
  • 0 nebude mít žádný efekt světelné mapy.
  • 5 bude mít 50 procentní efekt
  • 10 bude mít 100 procentní efekt.
  • Takže asi 3-8 je dobrá hodnota pro testování.

Když je generování nového pozadí pravda, můžete jít níže než 5 pro lepší výsledky

• Ksampler Refine: Funguje jako Img2Img Refiner po IC raw sampleru.

Pro konečný krok 25

• Počáteční krok na
  • 10 a níže bude fungovat jako raw sampler a dá vám morfující objekty
  • 15 bude fungovat jako správný refiner
  • 20 nebude fungovat správně
  • Nad 20 a výše bude produkovat zmatky
  • Takže výchozí 16 je dobré.

Oprava obličeje

• Upscale pro opravu obličeje: Pokud vaše obličeje nejsou uspokojivé po opravě obličeje, můžete je zvětšit na asi 1.2 až 1.6 pro lepší obličeje.
• Positive Prompt: Zde můžete napsat prompty pro obličej. Je nastaveno na “smiling” ve výchozím nastavení. Můžete to změnit.
• Face Denoise: Použijte kolem 0.35 – 0.45. Při vyšších hodnotách může obličej vykreslit nesprávně a také se může objevit problém s posouvajícími se obličeji.

Ukládání

• Video Combine: Tento uzel exportuje všechny snímky ve formátu videa. Pokud tento uzel selže při kombinování, znamená to, že je příliš mnoho snímků a dochází paměť RAM. Snižte kapacitu zátěže snímků, pokud se to stane
  • Uloženo bude do ComfyUI > Outputs ve výchozím nastavení.
• Změna výstupní cesty: Zrušte ztlumení tohoto uzlu, pokud chcete uložit výstup na vlastní umístění

O autorovi tohoto workflowu

Jerry Davos

• YouTube kanál: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Kontakty

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ