IC-Light | Reiluminación de Videos | AnimateDiff

ComfyUI IC-Light workflow para Reiluminación de Videos

Desbloquea todo el potencial de tus proyectos de video con el flujo de trabajo ComfyUI IC-Light, diseñado específicamente para mejorar la iluminación en tus videos de personajes "Human" utilizando un lightmap. Con ComfyUI IC-Light, puedes transformar fácilmente tus videos simplemente proporcionando tus prompts y elementos de lightmap, como formas y luces de neón. La herramienta creará un nuevo video con una iluminación significativamente mejorada.

CÓMO USAR el flujo de trabajo ComfyUI IC-Light

1. Subir Video Fuente: Comienza subiendo el video que deseas mejorar.
2. Subir Video de Mapa de Luz o Imagen Única de Mapa de Luz: Elige un video de mapa de luz o una imagen única para servir como tu nueva plantilla de iluminación.
3. Ingresa Load Cap y otros Ajustes, los mismos ajustes deben estar en el Video del Mapa de Luz.
4. Ingresa Prompts que describan tus nuevos ajustes de luz como Luz Solar o luces de neón.
5. Selecciona Tu Modelo. Se prefiere un modelo realista.
6. Cambia la Composición del Mapa de Luz y otros Ajustes si es necesario.
7. Haz clic en render.

Las salidas se guardarán en ComfyUI > Outputs

Inputs_1 - Settings

Aquí tenemos 5 Ajustes:

• Sampler Steps: Determina el número total de pasos que KSampler toma para renderizar una imagen. No debe cambiarse. [Valor Predeterminado 26]
• Detail Enhancer: Aumenta los detalles minuciosos en el Render Final. [Usar valor Entre 0.1 y 1]
• Seed: Controla la Generación de Seed para cada KSampler.
• Sampler CFG: Controla los valores CFG de los KSampler.
• Refiner Upscale: Funciona como el valor de Highres Fix. [Usar entre 1.1 – 1.6 para mejores resultados]

Prompts

• Positive Prompt: Ingresa prompts que mejor describan tu Imagen con la nueva iluminación.
• Negative Prompts: Está configurado para dar los mejores resultados. Siéntete libre de editarlo.
• Clip Text Encode nodes: Ayuda a codificar texto para maximizar la calidad. Déjalo en “full”

Models and Loras

• Checkpoint: Elige cualquier modelo realista SD 1.5 para resultados precisos. Siéntete libre de elegir cualquier modelo SD 1.5 para resultados estilísticos.
• Loras: [Opcional] Elige cualquier lora de la lista si lo deseas. No los uses a plena potencia. Usa alrededor de 0.5-0.7 para mejor efecto

Input Source Video

• Subir Video Fuente: Aquí haces clic y subes tu video de personaje humano al que deseas cambiar la luz.
  • Debe ser menor de 100 MB, Comfy fallará al subir archivos grandes.
  • No debe durar más de 15-20 segundos. Puede fallar al renderizar videos más largos
  • Debe ser en 720p o menor
  • Usa los nodos de Skip Frames si necesitas saltar algunos fotogramas iniciales. [Los videos de Light Map también saltarán estos fotogramas]
• Fit Image Size Limiter: Aquí limitas la resolución de renderizado, ya sea en formato horizontal o vertical, la resolución máxima siempre será menor o igual al valor establecido.
  • Usar valor entre 800 – 1200 para mejores resultados. [Esto impactará el Vram]

Importante: Usa un Frames Load Cap de 10 para probar primero

• Usa alrededor de 200 - 300 fotogramas a 1000 – 1200 de tamaño, si tienes 24 GB.
• Usa 0 si deseas renderizar todos los fotogramas. [No Recomendado para videos largos]

Ajustes de Máscara y Profundidad

• Máscara: Utiliza el Robust Video Matting. Los ajustes predeterminados están bien.
• Depth ControlNet: Utiliza los últimos modelos DepthAnything v2.
  • Strength y End Percent están configurados al 75% para dar resultados óptimos
  • Usa Co para mejores resultados.

Mapa de Luz

• Subir Mapa de Luz: Haz clic y sube un video de mapa de luz que desees.
  • Se ajustará automáticamente a las dimensiones del video fuente
  • Asegúrate de que sea igual o mayor en duración a las dimensiones del video fuente, de lo contrario, dará error.
• Light Map ControlNet: Este mapa de luz también se utiliza como controlnet de luz usando
• CN Strength y End Percent: Usa valores bajos aquí, valores más altos pueden causar sobreexposición o transiciones de luz muy abruptas.

Mapa de Luz Único

• Para usar una imagen única como mapa de luz, desmutea estos nodos y conecta el nodo reroute al nodo “Pick one Input”.

AnimateDIff

• Cargar Modelo Animatediff: Puedes usar cualquier modelo para diferentes efectos.
• Otros nodos de Animatediff: Necesitas tener algún conocimiento de animatediff para cambiar otros ajustes [ Puedes encontrarlos ]
• Ajustes SMZ: Este nodo aumenta la calidad del Pipeline del modelo, todos los ajustes están predefinidos para funcionar bien.

Composición del Mapa de Luz y IC Conditioning

• Los nodos de ajuste superiores (en color gris) están ahí para controlar el Conditioning del IC-Light, para hacer que tenga menos contraste y controlar el brillo.
• Generar Nuevo Fondo: Cuando está deshabilitado, utilizará las entradas de imagen originales e intentará mapear los detalles similares al fondo del video fuente según los “Background Prompts” si están presentes en la caja de prompts positivos

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• Cuando Generar Nuevo Fondo está habilitado: Generará un nuevo fondo considerando la profundidad

[1girl, sunlight, sunset, nature in the background, sky]

También se disminuyó la Strength y End Percent del Depth ControlNet al 45% para tener un área abierta en el fondo.

• Light Map on Top: Cuando es True, el mapa de luz estará encima del video fuente y será más dominante. Cuando es False, el video fuente estará encima, será más dominante y más brillante.
• Subject Affecting Area: 2 modos de fusión funcionan mejor
  • Multiply: Oscurecerá las áreas de sombra según el mapa de luz en la parte superior o inferior
  • Screen: Iluminará el área de sombra según el mapa de luz en la parte superior o inferior
  • Blend Factor es para la intensidad.

• Ajustes Generales: Esto controlará el brillo, contraste, gamma, tinte del Mapa de Luz Procesado Final de arriba.
• Image Remap: Usa este nodo para controlar el brillo y la oscuridad global de toda la imagen.
  • Un valor mínimo más alto iluminará la escena
  • Valores máximos más bajos oscurecerán la escena y pueden convertir las áreas más brillantes en objetos de morphing como el QrCode Monster CN
  • Usar mayormente el valor mínimo a 0.1 o 0.2 para iluminar un poco una escena.
  • Valor Mínimo 0 tendrá una sombra completamente negra para los píxeles negros del mapa de luz.

KSamplers (Raw y Refine)

IC Raw Ksampler: A diferencia de cualquier otro sampler, comienza en el paso 8 en lugar de cero, debido al IC-Light Condition (los fotogramas se deshacen del ruido desde el paso 8)

• Por ejemplo, un paso final de 20
• Paso de inicio en
  • 0 no tendrá efecto del mapa de luz.
  • 5 tendrá un efecto del 50 por ciento
  • 10 tendrá un efecto del 100 por ciento.
  • Por lo tanto, alrededor de 3-8 es un buen valor para probar.

Cuando Generar Nuevo Fondo es TRUE, puedes ir más bajo de 5 para mejores resultados

• Ksampler Refine: Funciona como un Refiner Img2Img después del IC raw sampler.

Para un paso final de 25

• Paso de inicio en
  • 10 y menos funcionará como raw sampler y te dará objetos de morphing
  • 15 funcionará como un refinador adecuado
  • 20 no funcionará correctamente
  • Más de 20 y más producirá resultados desordenados
  • Por lo tanto, 16 por defecto es bueno.

Face Fix

• Upscale For Face Fix: Si tus caras no son satisfactorias después del face fix, puedes escalarlas a alrededor de 1.2 a 1.6 para tener mejores caras.
• Positive Prompt: Aquí puedes escribir los prompts para la cara. Está configurado a “smiling” por defecto. Puedes cambiarlo.
• Face Denoise: Usa alrededor de 0.35 – 0.45. En valores más altos la cara puede renderizarse incorrectamente y también puede surgir el problema de caras deslizantes.

Guardado

• Video Combine: Esto exportará todos los fotogramas en formato de video. Si este nodo falla al combinar, significa que hay demasiados fotogramas y se está quedando sin RAM. Reduce el frames load cap si esto sucede
  • Se guardará en ComfyUI > Outputs por defecto.
• Cambiar Ruta de Salida: Desmutea este nodo si deseas guardar la salida en una ubicación de guardado personalizada

Sobre el autor de este flujo de trabajo

Jerry Davos

• Canal de YouTube: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

Contactos

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ