Produkt Relighting Video | Vid2Vid

Oversigt over Produkt Relighting Video Workflow

Denne workflow giver dig mulighed for at indsætte en video og en eller flere lysmasker for at generere en relighting video. Den understøtter tre scenarier:

1. Bevægende emne med en bevægende lysmaske
2. Stillestående emne med en bevægende lysmaske
3. Bevægende emne med en stillestående lysmaske

Selvom denne relighting video workflow er eksperimentel og muligvis ikke producerer perfekte resultater, repræsenterer den et betydeligt skridt mod ikke-AnimateDiff pipelines, der prioriterer produktfidelitet over perfekt frame-fusion i video relighting processen.

Inputs og Variabler for Relighting Video

For at køre workflowen og opnå de ønskede video relighting effekter, skal du give følgende inputs og variabler:

• Kildevideo: Den input video, der skal relit
• Antal frames: Det samlede antal frames, der skal behandles
• Antal initiale frames, der skal springes over: Antallet af frames, der skal springes over fra begyndelsen af videoen
• Stillestående eller Bevægende Emne: En boolean switch for at indikere, om emnet er stillestående eller bevægende
• Størrelse på den lange side (resize): Størrelsen, som frames vil blive resized baseret på den lange side
• To Lysmasker: Enten de initiale og endelige lysmaske positioner (for en bevægende lysmaske) eller den samme lysmaske (for en stillestående lysmaske)
• Lys prompt: En tekst prompt, der beskriver den ønskede belysning
• CFG: En værdi mellem 1.05 og 3 for at kontrollere styrken af lysændringerne (højere værdier fører til mere mærkbare ændringer men en højere chance for artefakter)
• Denoise: En værdi mellem 0.3 og 0.6 for at kontrollere denoising styrken (højere værdier resulterer i mindre flimmer men kan få lysmasken til at se mere ud som et filter)

Hvordan Video Relighting Workflow Fungerer

1. Workflowen bruger IC-Light til at relighte hver frame uafhængigt.
2. For hver frame genereres en latent baseret på en blanding af emneframe og den tilsvarende lysmaskeframe.
3. Latenten genereres ved en lav denoise værdi for at tvinge lysmasken på det endelige output.
4. Da IC-Light kan miste detaljer ved lav denoise, overføres detaljerne og de originale farver tilbage ved hjælp af Frequency Separation i slutningen af workflowen for at opretholde videokvaliteten efter relighting.