ComfyUI IC-Light workflow pro Video Relighting
Odemkněte plný potenciál vašich video projektů s ComfyUI IC-Light workflow, navrženým speciálně pro zlepšení osvětlení ve vašich "Human" videích pomocí světelné mapy. S ComfyUI IC-Light můžete snadno transformovat vaše videa jednoduše zadáním vašich promptů a prvků světelné mapy, jako jsou tvary a neonová světla. Nástroj vytvoří nové video s výrazně vylepšeným osvětlením.
JAK POUŽÍVAT ComfyUI IC-Light workflow
- Nahrajte zdrojové video: Začněte nahráním videa, které chcete vylepšit.
- Nahrajte video světelné mapy nebo jediný obrázek světelné mapy: Vyberte video světelné mapy nebo jediný obrázek, který bude sloužit jako vaše nová šablona osvětlení.
- Zadejte Load Cap a další nastavení, stejná nastavení by měla být ve videu světelné mapy.
- Zadejte prompty, které popisují vaše nové světelné nastavení, jako je sluneční světlo nebo neonová světla.
- Vyberte svůj model. Realistický model je preferován.
- Pokud je potřeba, změňte skládání světelné mapy a další nastavení.
- Stiskněte render.
Výstupy budou uloženy v ComfyUI > Outputs
Zde máme 5 nastavení:
- Sampler Steps: Určuje celkový počet kroků, které KSampler provede k vykreslení obrázku. Nemělo by se měnit. [Výchozí hodnota 26]
- Detail Enhancer: Zvyšuje drobné detaily ve finálním renderu. [Použijte hodnotu mezi 0.1 a 1]
- Seed: Řídí generaci semene pro každý KSampler.
- Sampler CFG: Řídí hodnoty CFG pro KSampler.
- Refiner Upscale: Funguje jako hodnota Highres Fix. [Použijte mezi 1.1 – 1.6 pro nejlepší výsledky]
Prompty
- Positive Prompt: Zadejte prompty, které nejlépe popisují váš obrázek s novým osvětlením.
- Negative Prompts: Je nakonfigurován tak, aby poskytoval nejlepší výsledky. Klidně jej upravte.
- Clip Text Encode nodes: Pomáhá s kódováním textu pro maximální kvalitu. Nechte to na “full”
Models and Loras
- Checkpoint: Vyberte jakýkoli model realistic SD 1.5 pro přesné výsledky. Klidně vyberte jakýkoli model SD 1.5 pro stylistické výsledky.
- Loras: [Volitelné] Vyberte jakýkoli loras ze seznamu, pokud si přejete. Nepoužívejte je na plnou sílu. Použijte kolem 0.5-0.7 pro nejlepší efekt
Zdrojové video
- Nahrajte zdrojové video: Zde klikněte a nahrajte vaše video s lidskými postavami, které chcete změnit osvětlení.
- Mělo by být pod 100 MB, Comfy nebude schopno nahrát velké soubory.
- Mělo by být kratší než 15-20 sekund. Může selhat při renderování delších videí
- Mělo by být v 720p nebo nižším
- Použijte Skip Frames Nodes, pokud potřebujete přeskočit některé počáteční snímky. [Video světelné mapy také přeskočí stejný počet snímků]
- Fit Image Size Limiter: Zde omezíte rozlišení renderování, ať už je to na šířku nebo na výšku, maximální rozlišení bude vždy pod nebo rovno nastavené hodnotě.
- Použijte hodnotu mezi 800 – 1200 pro nejlepší výsledky. [To ovlivní Vram]
Důležité: Použijte Frames Load Cap 10 pro první testování
- Použijte asi 200 - 300 snímků při 1000 – 1200 fit size, pokud máte 24 GB.
- Použijte 0, pokud chcete renderovat všechny snímky. [Nedoporučuje se pro delší videa]
Nastavení masky a hloubky
- Maska: Používá Robust Video Matting, výchozí nastavení jsou v pořádku.
- Depth ControlNet: Používá nejnovější modely DepthAnything v2.
- Síla a konec procent jsou nastaveny na 75 % pro optimální výsledky
- Použijte Co pro nejlepší výsledky.
Světelná mapa
- Nahrajte světelnou mapu: Klikněte a nahrajte světelné video, které chcete.
- Automaticky se přizpůsobí rozměrům zdrojového videa
- Ujistěte se, že je delší nebo rovna rozměrům zdrojového videa, jinak se objeví chyba.
- Light Map ControlNet: Tato světelná mapa se také používá jako Light controlnet pomocí
- CN Strength a End Percent: Použijte nízké hodnoty zde, vyšší hodnoty mohou způsobit přepálení nebo ostré světelné přechody.
Jednoduchá světelná mapa
- Pro použití jediného obrázku jako světelné mapy, zrušte ztlumení těchto uzlů a připojte reroute uzel k uzlu “Pick one Input”.
AnimateDiff
- Načtěte model Animatediff: Můžete použít jakýkoli model pro různé efekty.
- Animatediff Other nodes: Je potřeba mít nějaké znalosti o animatediffu, aby bylo možné změnit další nastavení [Najdete je ]
- Nastavení SMZ: Toto je uzel pro zvýšení kvality modelu Pipeline, všechna nastavení jsou přednastavena pro dobré fungování.
Skládání světelné mapy a IC Conditioning
- Horní uzly pro úpravu (v šedé barvě) jsou zde pro kontrolu podmínek IC-Light Conditioning, aby se snížil kontrast a kontroloval jas.
- Generování nového pozadí: Když je deaktivováno, použije původní vstupy obrázku a pokusí se mapovat detaily podobné pozadí zdrojového videa podle “Background Prompts” pokud jsou přítomny v boxu pozitivních promptů
[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]
- Když je generování nového pozadí povoleno: Vygeneruje nové pozadí s ohledem na hloubku
[1girl, sunlight, sunset, nature in the background, sky]
Také byla snížena síla a konec procenta Depth ControlNet na 45 % pro otevřenou oblast v pozadí.
- Světelná mapa nahoře: Když je pravda, světelná mapa bude nahoře zdrojového videa a dominantnější, když je nepravda, zdroj bude nahoře, dominantnější a jasnější
- Oblast ovlivňující subjekt: 2 režimy míchání fungují nejlépe
- Multiply: Ztmaví stínové oblasti podle toho, zda je světelná mapa nahoře nebo dole
- Screen: Zjasní stínové oblasti podle toho, zda je světelná mapa nahoře nebo dole
- Faktor míchání je pro intenzitu.
- Celkové úpravy: Toto bude kontrolovat jas, kontrast, gamma, odstín finálně zpracované světelné mapy shora.
- Přemapování obrázku: Použijte tento uzel pro kontrolu celkového globálního jasu a tmavosti celého obrázku.
- Vyšší minimální hodnota zesvětlí scénu
- Nižší maximální hodnoty ztmaví scénu a mohou převést jasné oblasti na morfující objekty jako QR kódový monster CN
- Použijte většinou minimální hodnotu 0.1 nebo 0.2 pro lehké osvětlení scény.
- Minimální hodnota 0 bude mít úplně černé stíny pro černé pixely světelné mapy.
KSamplers (Raw a Refine)
IC Raw Ksampler: Na rozdíl od jiných samplerů začíná na kroku 8 místo nuly, kvůli IC-Light Condition (Snímky jsou denoised od 8. kroku)
- Například konečný krok 20
- Počáteční krok na
- 0 nebude mít žádný efekt světelné mapy.
- 5 bude mít 50 procentní efekt
- 10 bude mít 100 procentní efekt.
- Takže asi 3-8 je dobrá hodnota pro testování.
Když je generování nového pozadí pravda, můžete jít níže než 5 pro lepší výsledky
- Ksampler Refine: Funguje jako Img2Img Refiner po IC raw sampleru.
Pro konečný krok 25
- Počáteční krok na
- 10 a níže bude fungovat jako raw sampler a dá vám morfující objekty
- 15 bude fungovat jako správný refiner
- 20 nebude fungovat správně
- Nad 20 a výše bude produkovat zmatky
- Takže výchozí 16 je dobré.
Oprava obličeje
- Upscale pro opravu obličeje: Pokud vaše obličeje nejsou uspokojivé po opravě obličeje, můžete je zvětšit na asi 1.2 až 1.6 pro lepší obličeje.
- Positive Prompt: Zde můžete napsat prompty pro obličej. Je nastaveno na “smiling” ve výchozím nastavení. Můžete to změnit.
- Face Denoise: Použijte kolem 0.35 – 0.45. Při vyšších hodnotách může obličej vykreslit nesprávně a také se může objevit problém s posouvajícími se obličeji.
Ukládání
- Video Combine: Tento uzel exportuje všechny snímky ve formátu videa. Pokud tento uzel selže při kombinování, znamená to, že je příliš mnoho snímků a dochází paměť RAM. Snižte kapacitu zátěže snímků, pokud se to stane
- Uloženo bude do ComfyUI > Outputs ve výchozím nastavení.
- Změna výstupní cesty: Zrušte ztlumení tohoto uzlu, pokud chcete uložit výstup na vlastní umístění
O autorovi tohoto workflowu
Jerry Davos
- YouTube kanál: https://www.youtube.com/@jerrydavos
- Patreon: https://www.patreon.com/jerrydavos
Kontakty
- Email: davos.jerry@gmail.com
- Discord: https://discord.gg/z9rgJyfPWJ