IC-Light | Reluminando Vídeos | AnimateDiff

Fluxo de trabalho ComfyUI IC-Light para Reluminando Vídeos

Desbloqueie todo o potencial dos seus projetos de vídeo com o ComfyUI IC-Light, projetado especificamente para melhorar a iluminação nos vídeos de seus personagens "Humanos" usando um lightmap. Com ComfyUI IC-Light, você pode transformar seus vídeos facilmente, fornecendo apenas seus prompts e elementos de lightmap, como formas e luzes neon. A ferramenta criará um novo vídeo com iluminação significativamente melhorada.

COMO USAR o fluxo de trabalho ComfyUI IC-Light

1. Carregar Vídeo Fonte: Comece carregando o vídeo que deseja melhorar.
2. Carregar Vídeo de Mapa de Luz ou Imagem Única de Mapa de Luz: Escolha um vídeo de mapa de luz ou uma única imagem para servir como seu novo modelo de iluminação.
3. Insira Load Cap e outras Configurações, as mesmas configurações devem estar no Vídeo de Mapa de Luz.
4. Insira Prompts que descrevem suas novas configurações de luz, como Luz do Sol ou luzes neon.
5. Selecione Seu Modelo. Modelo realista é preferido.
6. Altere a Composição do Mapa de Luz e outras Configurações, se necessário.
7. Clique em render.

Os resultados serão salvos em ComfyUI > Outputs

Inputs_1 - Configurações

Aqui temos 5 Configurações:

• Sampler Steps: Determina o número total de passos que o KSampler leva para renderizar uma imagem. Não deve ser alterado. [Valor Padrão 26]
• Detail Enhancer: Aumenta os detalhes minuciosos no Render Final. [Use valor entre 0.1 e 1]
• Seed: Controla o Seed de Gerações para cada KSamplers.
• Sampler CFG: Controla os valores CFG dos KSamplers.
• Refiner Upscale: Funciona como o valor de Highres Fix. [Use entre 1.1 – 1.6 para melhores resultados]

Prompts

• Positive Prompt: Insira prompts que melhor descrevem sua Imagem com a nova iluminação.
• Negative Prompts: Está configurado para dar os melhores resultados. Sinta-se à vontade para editá-lo.
• Clip Text Encode nodes: Ajuda na Codificação de Texto para maximizar a qualidade. Deixe em “full”

Models and Loras

• Checkpoint: Escolha qualquer modelo realistic SD 1.5 para resultados precisos. Sinta-se à vontade para escolher qualquer modelo SD 1.5 para resultados estilísticos.
• Loras: [Opcional] Escolha qualquer loras da lista fornecida, se desejar. Não use na força total. Use cerca de 0.5-0.7 para melhor efeito

Input Source Video

• Carregar Vídeo Fonte: Aqui você clica e carrega o vídeo do seu Personagem Humano que deseja alterar a iluminação.
  • Deve ter menos de 100 MB, Comfy falhará ao carregar tamanhos grandes.
  • Não deve ter mais de 15-20 segundos. Pode falhar ao renderizar vídeos mais longos
  • Deve estar em 720p ou inferior
  • Use Skip Frames Nodes se precisar pular alguns quadros iniciais. [Vídeos de Mapa de Luz também pularão esta quantidade de quadros]
• Limite de Tamanho de Imagem: Aqui você define o limite de resolução de renderização, seja paisagem ou retrato, a resolução máxima será sempre igual ou inferior ao valor definido.
  • Use Valor entre 800 – 1200 para melhores resultados. [Isso impactará o Vram]

Importante: Use Cap de Carga de Quadros de 10 para Testar Primeiro

• Use Cerca de 200 - 300 quadros em tamanho ajustado de 1000 – 1200, se você tiver 24 GB.
• Use 0 se quiser renderizar todos os quadros. [Não Recomendado para vídeos mais longos]

Configurações de Máscara e Profundidade

• Máscara: Usa o Robust Video Matting, as configurações padrão estão boas.
• Depth ControlNet: Usa os modelos mais recentes DepthAnything v2.
  • A Força e o Percentual Final estão definidos em 75% para dar resultados ótimos
  • Use Co para melhores resultados.

Mapa de Luz

• Carregar Mapa de Luz: Clique e carregue um vídeo de mapa de luz que você desejar.
  • Ele será escalado automaticamente para as dimensões do vídeo fonte
  • Certifique-se de que seja igual ou superior às dimensões do vídeo fonte, caso contrário, gerará erro.
• Light Map ControlNet: Este mapa de luz também é usado como Light controlnet usando
• CN Strength e Percentual Final: Use valores baixos aqui, valores altos podem causar superexposição ou transição de luz acentuada.

Mapa de Luz Único

• Para Usar uma Única Imagem como mapa de luz, desmute esses nós e conecte o nó de redirecionamento ao Nó “Escolher um Input”.

AnimateDiff

• Carregar Modelo Animatediff: Você pode usar qualquer modelo para diferentes efeitos.
• Outros nós do Animatediff: Você precisa ter algum conhecimento de animatediff para alterar outras configurações [Você pode encontrá-las ]
• Configurações SMZ: Este é um nó para aumentar mais a qualidade do Pipeline do modelo, todas as configurações são predefinidas para funcionar bem.

Composição do Mapa de Luz e Condicionamento IC

• Os Nós de Ajuste Acima (em cor cinza) estão lá para controlar o Condicionamento do IC-Light, para torná-lo menos contrastado e controlar o brilho.
• Gerar Novo Fundo: Quando Desativado, usará as entradas de imagem originais e tentará mapear os detalhes semelhantes ao fundo do vídeo fonte de acordo com “Prompts de Fundo” se presentes na caixa de prompt positivo

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Quando Gerar Novo Fundo está Ativado: Ele gerará um novo fundo considerando a profundidade

[1girl, sunlight, sunset, nature in the background, sky]

Também a Força do Depth ControlNet e o Percentual Final foram reduzidos para 45% para ter uma Área Aberta no fundo.

• Mapa de Luz no Topo: Quando Verdadeiro, o mapa de luz estará no topo do vídeo fonte e será mais dominante, Quando Falso, o Fonte será mais dominante e mais Brilhante
• Área de Afetação do Sujeito: 2 modos de mesclagem funcionam melhor
  • Multiply: Escurecerá as áreas de sombra de acordo com o mapa de luz no topo ou no fundo
  • Screen: Iluminará a área de sombra de acordo com o mapa de luz no topo ou no fundo
  • O Fator de Mesclagem é para a intensidade.

• Ajustes Gerais: Isso controlará o brilho, contraste, gama, tom do Mapa de Luz Final Processado acima.
• Remapeamento de Imagem: Use este nó para controlar o brilho geral e a escuridão de toda a imagem.
  • Valores mínimos mais altos iluminarão a cena
  • Valores máximos mais baixos escurecerão a cena e podem converter as áreas mais claras em objetos de morfagem como o QrCode Monster CN
  • Use principalmente o valor mínimo de 0.1 ou 0.2 para iluminar um pouco uma cena.
  • Valor Mínimo 0 terá uma sombra totalmente preta para os pixels pretos do mapa de luz.

KSamplers (Raw e Refine)

IC Raw Ksampler: Ao contrário de qualquer outro sampler, começa no passo 8 em vez de zero, devido à Condição IC-Light (Os quadros são denoised a partir do 8º Passo)

• Por exemplo, um Passo Final de 20
• Passo Inicial em
  • 0 não terá efeito de Mapa de Luz.
  • 5 terá 50 por cento de efeito
  • 10 terá 100 por cento de efeito.
  • Então, cerca de 3-8 é um bom valor para testar.

Quando Gerar Novo Fundo é VERDADEIRO, você pode ir abaixo de 5 para Melhores Resultados

• Ksampler Refine: Funciona como um Img2Img Refiner Após o sampler IC raw.

Para um Passo Final de 25

• Passo Inicial em
  • 10 e abaixo funcionará como sampler raw e dará objetos de morfagem
  • 15 funcionará como um refinador adequado
  • 20 não funcionará corretamente
  • Acima de 20 e acima produzirá resultados confusos
  • Portanto, 16 Padrão é bom.

Correção de Rosto

• Upscale Para Correção de Rosto: Se seus Rostos não estiverem satisfatórios após a correção de rosto, você pode aumentar a escala para cerca de 1.2 a 1.6 para ter rostos melhores.
• Positive Prompt: Aqui você pode escrever os prompts para o rosto. Está definido como “sorrindo” por padrão. Você pode alterá-lo.
• Face Denoise: Use Cerca de 0.35 – 0.45. Em valores mais altos, o rosto pode renderizar incorretamente e também pode surgir o problema de rostos deslizantes.

Salvando

• Combinação de Vídeo: Isso exportará todos os quadros em formato de vídeo. Se este nó falhar ao combinar, significa que há muitos quadros e está ficando sem memória. Reduza o cap de carga de quadros se isso acontecer
  • Será salvo em ComfyUI > Outputs por padrão.
• Alterar Caminho de Saída: Desmute este nó, se você quiser salvar a saída em um local de salvamento personalizado

Sobre o autor deste fluxo de trabalho

Jerry Davos

• Canal do YouTube: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Contatos

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ