Produkt Relighting Video | Vid2Vid

Oversikt over Produkt Relighting Video Arbeidsflyt

Denne arbeidsflyten lar deg legge inn en video og en eller flere lysmasker for å generere en relighting video. Den støtter tre scenarier:

1. Bevegelig objekt med en bevegelig lysmaske
2. Stillesittende objekt med en bevegelig lysmaske
3. Bevegelig objekt med en stillestående lysmaske

Selv om denne relighting video arbeidsflyten er eksperimentell og kanskje ikke gir perfekte resultater, representerer den et betydelig skritt mot ikke-AnimateDiff pipelines som prioriterer produktfidelitet over perfekt rammesammensmelting i video relighting prosessen.

Inndata og Variabler for Relighting Video

For å kjøre arbeidsflyten og oppnå ønskede video relighting effekter, må du oppgi følgende inndata og variabler:

• Kildevideo: Videoen som skal relighting
• Antall rammer: Totalt antall rammer som skal behandles
• Antall første rammer som skal hoppes over: Antall rammer som skal hoppes over fra begynnelsen av videoen
• Stillesittende eller Bevegelig Objekt: En boolean bryter for å indikere om objektet er stillesittende eller bevegelig
• Størrelse på lengre side (omskaler): Størrelsen som rammene skal omskaleres til basert på den lengre siden
• To Lysmasker: Enten de første og siste lysmaske posisjonene (for en bevegelig lysmaske) eller samme lysmaske (for en stillestående lysmaske)
• Lys prompt: En tekst prompt som beskriver ønsket belysning
• CFG: En verdi mellom 1.05 og 3 for å kontrollere styrken på belysningsendringene (høyere verdier fører til mer merkbare endringer, men en høyere sjanse for artefakter)
• Denoise: En verdi mellom 0.3 og 0.6 for å kontrollere denoising styrken (høyere verdier resulterer i mindre flimring, men kan få lysmasken til å se mer ut som et filter)

Hvordan Video Relighting Arbeidsflyten Fungerer

1. Arbeidsflyten bruker IC-Light til å relighting hver ramme uavhengig.
2. For hver ramme genereres en latent basert på en blanding av objektets ramme og den tilsvarende lysmaske rammen.
3. Latenten genereres på en lav denoise verdi for å tvinge lysmasken inn i det endelige resultatet.
4. Siden IC-Light kan miste detaljer ved lav denoising, blir detaljene og de originale fargene overført tilbake ved hjelp av Frequency Separation på slutten av arbeidsflyten for å opprettholde videokvaliteten etter relighting.