Översikt av Produkt Omljusningsvideo Arbetsflöde
Detta arbetsflöde låter dig ange en video och en eller flera ljusmasker för att generera en omljusningsvideo. Det stödjer tre scenarier:
- Rörligt motiv med en rörlig ljusmask
- Stillastående motiv med en rörlig ljusmask
- Rörligt motiv med en stillastående ljusmask
Medan detta omljusningsvideo arbetsflöde är experimentellt och kanske inte producerar perfekta resultat, representerar det ett betydande steg mot icke-AnimateDiff pipelines som prioriterar produktfidelitet över perfekt bildsammanfogning i omljusningsvideoprocessen.
Ingångar och Variabler för Omljusningsvideo
För att köra arbetsflödet och uppnå de önskade omljusningseffekterna i videon, måste du tillhandahålla följande ingångar och variabler:
- Källvideo: Den ingående videon som ska omljusas
- Antal ramar: Det totala antalet ramar som ska bearbetas
- Antal initiala ramar att hoppa över: Antalet ramar att hoppa över från början av videon
- Stillastående eller Rörligt Motiv: En boolesk växel för att indikera om motivet är stillastående eller rörligt
- Storlek på den längre sidan (ändra storlek): Storleken till vilken ramarna kommer att ändras baserat på den längre sidan
- Två Ljusmasker: Antingen de initiala och slutliga ljusmaskpositionerna (för en rörlig ljusmask) eller samma ljusmask (för en stillastående ljusmask)
- Ljusprompt: En textprompt som beskriver den önskade belysningen
- CFG: Ett värde mellan 1.05 och 3 för att kontrollera styrkan hos ljusförändringarna (högre värden leder till mer märkbara förändringar men en högre chans för artefakter)
- Denoise: Ett värde mellan 0.3 och 0.6 för att kontrollera avbrusningens styrka (högre värden resulterar i mindre flimmer men kan få ljusmasken att se mer ut som ett filter)
Hur Omljusningsvideo Arbetsflöde Fungerar
- Arbetsflödet använder IC-Light för att omljusa varje ram oberoende.
- För varje ram genereras en latent baserat på en blandning av motivramen och den motsvarande ljusmaskramen.
- Den latenta genereras vid ett lågt avbrusningsvärde för att tvinga ljusmasken på slutresultatet.
- Eftersom IC-Light kan förlora detaljer vid låg avbrusning, överförs detaljer och originalfärger tillbaka med hjälp av Frekvensseparation i slutet av arbetsflödet för att bibehålla videokvaliteten efter omljusning.