Product Relighting Video | Vid2Vid

Visão Geral do Fluxo de Trabalho de Reiluminação de Produto

Este fluxo de trabalho permite que você insira um vídeo e uma ou mais máscaras de luz para gerar um vídeo de reiluminação. Ele suporta três cenários:

1. Sujeito em movimento com uma máscara de luz em movimento
2. Sujeito estático com uma máscara de luz em movimento
3. Sujeito em movimento com uma máscara de luz estática

Embora este fluxo de trabalho de reiluminação de vídeo seja experimental e possa não produzir resultados perfeitos, ele representa um passo significativo em direção a pipelines não-AnimateDiff que priorizam a fidelidade do produto sobre a fusão perfeita de quadros no processo de reiluminação de vídeo.

Entradas e Variáveis para Reiluminação de Vídeo

Para executar o fluxo de trabalho e alcançar os efeitos desejados de reiluminação de vídeo, você deve fornecer as seguintes entradas e variáveis:

• Vídeo de Origem: O vídeo de entrada a ser reiluminado
• Número de quadros: O número total de quadros a serem processados
• Número de quadros iniciais a serem pulados: O número de quadros a serem pulados desde o início do vídeo
• Sujeito Estático ou em Movimento: Um interruptor booleano para indicar se o sujeito está estático ou em movimento
• Tamanho do lado mais longo (redimensionar): O tamanho para o qual os quadros serão redimensionados com base no lado mais longo
• Duas Máscaras de Luz: Ou as posições iniciais e finais da máscara de luz (para uma máscara de luz em movimento) ou a mesma máscara de luz (para uma máscara de luz estática)
• Prompt de Luz: Um prompt de texto descrevendo a iluminação desejada
• CFG: Um valor entre 1.05 e 3 para controlar a força das mudanças de iluminação (valores mais altos levam a mudanças mais perceptíveis, mas uma maior chance de artefatos)
• Denoise: Um valor entre 0.3 e 0.6 para controlar a força da remoção de ruído (valores mais altos resultam em menos cintilação, mas podem fazer a máscara de luz parecer mais um filtro)

Como Funciona o Fluxo de Trabalho de Reiluminação de Vídeo

1. O fluxo de trabalho usa IC-Light para reiluminar cada quadro de forma independente.
2. Para cada quadro, um latente é gerado com base em uma mistura do quadro do sujeito e do quadro correspondente da máscara de luz.
3. O latente é gerado com um valor de denoise baixo para forçar a máscara de luz no resultado final.
4. Como o IC-Light pode perder detalhes em baixos níveis de denoising, os detalhes e cores originais são transferidos de volta usando a Separação de Frequência no final do fluxo de trabalho para manter a qualidade do vídeo após a reiluminação.