IC-Light | Relighting Wideo | AnimateDiff

Workflow ComfyUI IC-Light do Relightingu Wideo

Odblokuj pełny potencjał swoich projektów wideo dzięki workflow ComfyUI IC-Light, zaprojektowanemu specjalnie do poprawy oświetlenia w wideo z postaciami ludzkimi za pomocą lightmapy. Dzięki ComfyUI IC-Light możesz łatwo przekształcić swoje wideo, po prostu dostarczając swoje prompty i elementy lightmapy, takie jak kształty i neonowe światła. Narzędzie stworzy nowe wideo z znacząco poprawionym oświetleniem.

JAK KORZYSTAĆ z workflow ComfyUI IC-Light

1. Prześlij Źródłowe Wideo: Zacznij od przesłania wideo, które chcesz poprawić.
2. Prześlij Wideo Light Map lub Pojedynczy Obraz Light Map: Wybierz wideo light map lub pojedynczy obraz, który posłuży jako nowy szablon oświetlenia.
3. Wprowadź Load Cap i inne Ustawienia, te same ustawienia powinny być w Wideo Light Map.
4. Wprowadź Prompt, który opisuje twoje nowe ustawienia oświetlenia, takie jak światło słoneczne lub neonowe światła.
5. Wybierz Model. Preferowany jest realistyczny model.
6. Zmień Kompozycję Light Map i inne Ustawienia, jeśli to konieczne.
7. Naciśnij render.

Wyniki zostaną zapisane w ComfyUI > Outputs

Inputs_1 - Ustawienia

Tutaj mamy 5 Ustawień:

• Kroki Samplera: Określa całkowitą liczbę kroków, które KSampler podejmuje, aby wyrenderować obraz. Nie powinno się tego zmieniać. [Wartość domyślna 26]
• Enhancer Szczegółów: Zwiększa drobne szczegóły w końcowym renderze. [Użyj wartości między 0.1 a 1]
• Seed: Kontroluje Seed Generacji dla każdego KSamplera.
• Sampler CFG: Kontroluje wartości CFG dla KSamplera.
• Refiner Upscale: Działa jak wartość Highres Fix. [Użyj między 1.1 – 1.6 dla najlepszych wyników]

Prompty

• Pozytywny Prompt: Wprowadź prompt, który najlepiej opisuje twój obraz z nowym oświetleniem.
• Negatywne Prompty: Jest skonfigurowany, aby dawać najlepsze wyniki. Możesz go edytować według własnych potrzeb.
• Węzły Kodowania Tekstu Clip: Pomaga w kodowaniu tekstu, aby maksymalnie zwiększyć jakość. Pozostaw na “full”

Modele i Loras

• Checkpoint: Wybierz dowolny model realistic SD 1.5 dla dokładnych wyników. Możesz wybrać dowolny model SD 1.5 dla stylowych wyników.
• Loras: [Opcjonalnie] Wybierz dowolne loras z podanej listy, jeśli chcesz. Nie używaj ich na pełnej mocy. Użyj około 0.5-0.7 dla najlepszego efektu.

Źródłowe Wideo

• Prześlij Źródłowe Wideo: Tutaj kliknij i prześlij swoje wideo z postacią ludzką, które chcesz zmienić oświetlenie.
  • Powinno mieć mniej niż 100 MB, Comfy nie uda się przesłać dużego rozmiaru.
  • Nie powinno być dłuższe niż 15-20 sekund. Może nie udać się renderować dłuższych wideo.
  • Powinno być w 720p lub niższym.
  • Użyj Węzłów Pomijania Klatek, jeśli musisz pominąć niektóre początkowe klatki. [Wideo Light Map również pominie tyle klatek]
• Limiter Rozmiaru Obrazu: Tutaj ograniczasz rozdzielczość renderowania, niezależnie od tego, czy jest to krajobraz, czy portret, maksymalna rozdzielczość zawsze będzie poniżej lub równa ustawionej wartości.
  • Użyj wartości między 800 – 1200 dla najlepszych wyników. [To wpłynie na Vram]

Ważne: Użyj Load Cap Klatek na poziomie 10, aby najpierw przetestować

• Użyj około 200 - 300 klatek przy rozmiarze 1000 – 1200, jeśli masz 24 GB.
• Użyj 0, jeśli chcesz renderować wszystkie klatki. [Nie polecane dla dłuższych wideo]

Ustawienia Maski i Głębokości

• Maska: Używa Robust Video Matting, domyślne ustawienia są odpowiednie.
• Depth ControlNet: Używa najnowszych modeli DepthAnything v2.
  • Siła i Końcowy Procent są ustawione na 75%, aby dać optymalne wyniki.
  • Użyj Co dla najlepszych wyników.

Light Map

• Prześlij Light Map: Kliknij i prześlij wideo light map, które chcesz.
  • Automatycznie skalować się będzie do wymiarów źródłowego wideo
  • Upewnij się, że jest dłuższe lub równe wymiarom źródłowego wideo, w przeciwnym razie wystąpi błąd.
• Light Map ControlNet: Ta light map jest również używana jako Light controlnet przy użyciu
• Siła CN i Końcowy Procent: Użyj niskich wartości tutaj, wyższe wartości mogą powodować nadmierne naświetlenie lub ostre przejścia światła.

Pojedyncza Light Map

• Aby użyć pojedynczego obrazu jako light map, odcisz te węzły i połącz węzeł reroute z węzłem “Pick one Input”.

AnimateDIff

• Załaduj model Animatediff: Możesz użyć dowolnego modelu dla różnych efektów.
• Inne węzły Animatediff: Musisz mieć pewną wiedzę na temat animatediff, aby zmienić inne ustawienia [ Możesz je znaleźć ]
• Ustawienia SMZ: To jest węzeł do zwiększenia jakości modelu Pipeline, wszystkie ustawienia są wstępnie zdefiniowane, aby dobrze działać.

Kompozycja Light Map i IC Conditioning

• Powyższe górne Węzły Dostosowania (w kolorze szarym) są tam, aby kontrolować Warunki IC-Light, aby zmniejszyć kontrast i kontrolować jasność.
• Generuj Nowe Tło: Gdy wyłączone, będzie używać oryginalnych wejść obrazów i starać się mapować szczegóły podobne do tła źródłowego wideo zgodnie z “Promptami Tła” jeśli są obecne w pozytywnym promptie.

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Gdy Generuj Nowe Tło jest włączone: Wygeneruje nowe tło uwzględniając głębokość.

[1girl, sunlight, sunset, nature in the background, sky]

Również Siła i Końcowy Procent Depth ControlNet zostały zmniejszone do 45%, aby mieć otwarty obszar w tle.

• Light Map na Górze: Gdy Prawda, light map będzie na górze źródłowego wideo i bardziej dominująca, gdy Fałsz, źródło będzie na górze, bardziej dominujące i jaśniejsze.
• Obszar Wpływający na Subiekt: 2 tryby mieszania działają najlepiej
  • Multiply: Przyciemni obszary cieni zgodnie z light map na górze lub na dole
  • Screen: Rozjaśni obszary cieni zgodnie z light map na górze lub na dole
  • Czynnik Mieszania jest dla intensywności.

• Ogólne Dostosowania: To kontroluje jasność, kontrast, gamma, odcień końcowego przetworzonego light map z powyższego.
• Remapowanie Obrazu: Użyj tego węzła, aby kontrolować ogólną globalną jasność i ciemność całego obrazu.
  • Wyższa wartość minimalna rozjaśni scenę.
  • Niższe wartości maksymalne sprawią, że scena będzie ciemniejsza i mogą przekształcić jaśniejsze obszary w obiekty morfujące, takie jak QrCode Monster CN
  • Głównie użyj wartości minimalnej 0.1 lub 0.2, aby rozjaśnić scenę trochę.
  • Wartość minimalna 0 będzie miała całkowicie czarne cienie dla czarnych pikseli light map.

KSamplery (Raw i Refine)

IC Raw Ksampler: W przeciwieństwie do innych samplerów zaczyna od kroku 8 zamiast zera, ze względu na warunki IC-Light (Klatki są odszumiane od 8 kroku)

• Na przykład, końcowy krok 20
• Krok początkowy na
  • 0 nie będzie miało efektu light map.
  • 5 będzie miało 50 procent efektu.
  • 10 będzie miało 100 procent efektu.
  • Więc około 3-8 to dobra wartość do testowania.

Gdy Generuj Nowe Tło jest PRAWDA, możesz zejść poniżej 5 dla lepszych wyników.

• Ksampler Refine: Działa jak Img2Img Refiner po samplerze IC raw.

Dla końcowego kroku 25

• Krok początkowy na
  • 10 i poniżej będzie działać jak raw sampler i da ci morfujące obiekty.
  • 15 będzie działać jak właściwy refiner.
  • 20 nie będzie działać poprawnie.
  • Powyżej 20 i powyżej będą produkować zepsute wyniki.
  • Więc domyślna wartość 16 jest dobra.

Naprawa Twarzy

• Skalowanie dla Naprawy Twarzy: Jeśli twoje twarze nie są zadowalające po naprawie twarzy, możesz skalować je do około 1.2 do 1.6, aby mieć lepsze twarze.
• Pozytywny Prompt: Tutaj możesz napisać prompty dla twarzy. Domyślnie ustawione na “uśmiechnięta”. Możesz to zmienić.
• Denoise Twarzy: Użyj wartości około 0.35 – 0.45. Przy wyższych wartościach twarz może być renderowana niepoprawnie, a także mogą pojawić się problemy z przesuwającymi się twarzami.

Zapisywanie

• Łączenie Wideo: To wyeksportuje wszystkie klatki w formacie wideo. Jeśli ten węzeł nie powiedzie się podczas łączenia, oznacza to, że jest za dużo klatek i brakuje pamięci RAM. Zmniejsz load cap klatek, jeśli to się zdarzy.
  • Zostanie zapisane w ComfyUI > Outputs domyślnie.
• Zmień Ścieżkę Wyjściową: Odcisz ten węzeł, jeśli chcesz zapisać wynik w niestandardowej lokalizacji zapisu.

O autorze tego workflow

Jerry Davos

• Kanał YouTube: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Kontakty

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ