Product Relighting Video | Vid2Vid

Overzicht van de Product Relighting Video Workflow

Deze workflow stelt je in staat om een video en een of meer lichtmaskers in te voeren om een relightingvideo te genereren. Het ondersteunt drie scenario's:

1. Bewegend onderwerp met een bewegend lichtmasker
2. Stilstaand onderwerp met een bewegend lichtmasker
3. Bewegend onderwerp met een stilstaand lichtmasker

Hoewel deze relightingvideo-workflow experimenteel is en mogelijk niet perfecte resultaten oplevert, vertegenwoordigt het een significante stap richting niet-AnimateDiff-pijplijnen die producttrouw prioriteren boven perfecte framefusie in het relightingproces van video's.

Inputs en Variabelen voor Relighting Video

Om de workflow uit te voeren en de gewenste relighting-effecten te bereiken, moet je de volgende inputs en variabelen leveren:

• Bronvideo: De in te voeren video om te relighten
• Aantal frames: Het totale aantal frames om te verwerken
• Aantal beginframes om over te slaan: Het aantal frames om over te slaan vanaf het begin van de video
• Stilstaand of Bewegend Onderwerp: Een booleaanse schakelaar om aan te geven of het onderwerp stilstaand of bewegend is
• Grootte van de langste zijde (resizen): De grootte waarop de frames worden aangepast op basis van de langste zijde
• Twee Lichtmaskers: Of de begin- en eindposities van het lichtmasker (voor een bewegend lichtmasker) of hetzelfde lichtmasker (voor een stilstaand lichtmasker)
• Lichtprompt: Een tekstprompt die de gewenste verlichting beschrijft
• CFG: Een waarde tussen 1.05 en 3 om de sterkte van de verlichtingsveranderingen te regelen (hogere waarden leiden tot meer merkbare veranderingen maar een grotere kans op artefacten)
• Denoise: Een waarde tussen 0.3 en 0.6 om de denoising-sterkte te regelen (hogere waarden resulteren in minder flikkering maar kunnen het lichtmasker meer op een filter laten lijken)

Hoe de Video Relighting Workflow Werkt

1. De workflow gebruikt IC-Light om elk frame onafhankelijk te relighten.
2. Voor elk frame wordt een latent gegenereerd op basis van een mix van het onderwerpframe en het corresponderende lichtmaskerframe.
3. Het latent wordt gegenereerd bij een lage denoise-waarde om het lichtmasker op de uiteindelijke output te forceren.
4. Omdat IC-Light details kan verliezen bij lage denoise, worden de details en originele kleuren teruggebracht met behulp van Frequentiescheiding aan het einde van de workflow om de videokwaliteit na relighting te behouden.