Blender + ComfyUI | Renderización AI de Animaciones 3D

Renderización AI de Animaciones 3D: Blender + ComfyUI

Este flujo de trabajo innovador, desarrollado por el talentoso , combina Blender y ComfyUI para producir impresionantes animaciones 3D renderizadas con AI. Recomendamos encarecidamente visitar su canal de YouTube para más inspiración.

A continuación, utilizamos diferentes materiales para reproducir su enfoque. Aquí están los pasos:

🌟

Parte 1: Usar Blender para Crear Animaciones 3D y Pasadas de Renderizado

1. Configura una Escena 3D en Blender

• Comienza importando o modelando los activos 3D necesarios, como personajes, entornos y accesorios. Organiza estos activos dentro de la escena, posiciona las cámaras y configura cualquier animación requerida. Elimina los materiales, texturas y luces existentes, ya que ComfyUI generará estos durante el proceso de renderizado.

2. Renderiza la Pasada de Profundidad

• La pasada de profundidad proporciona información esencial de distancia para mejorar la percepción de profundidad, que se utilizará en ComfyUI.
• En Blender, ve a Propiedades de la Capa de Vista, activa la pasada Z y renderiza la imagen. En la pestaña Composición, conecta un nodo de visualización a la salida de profundidad. Normaliza los valores de profundidad usando un nodo Rango de Mapeo para crear un gradiente en blanco y negro que represente la profundidad de la escena.

3. Renderiza la Pasada de Contorno

• La pasada de contorno produce bordes de arte lineal que definen las formas y siluetas de los objetos para su uso en ComfyUI.
• En Blender, usa la herramienta Freestyle para crear contornos basados en la geometría 3D. Configura el color a blanco y ajusta el grosor de la línea. Renderiza la imagen y procésala en la pestaña Composición.

4. Renderiza la Pasada de Máscara

• La pasada de máscara asigna colores únicos a diferentes objetos. Asegúrate de anotar los Códigos Hexadecimales de estos colores, ya que se utilizarán para indicaciones específicas de AI en ComfyUI.
• En Blender, asigna sombreadores de emisión simples con colores distintos a cada objeto. Renderiza la imagen y guárdala.

Para instrucciones detalladas sobre estos pasos, consulta el tutorial de YouTube de si no estás familiarizado con Blender.

Después de completar la Parte 1, habrás creado tres tipos de secuencias de imágenes: imágenes de máscara, imágenes de profundidad e imágenes de contorno. Estas se utilizarán en el siguiente paso con ComfyUI.

Parte 2: Usar ComfyUI para Renderizar Animaciones AI

El flujo de trabajo de ComfyUI de Mickmumpitz consta de varios componentes clave:

1. Cargar Secuencias de Imágenes

• Cargar Secuencias de Máscara: Carga la secuencia de máscara y luego usa el nodo "regional conditioning by color mask" para separar los objetos en la imagen de máscara. Ingresa el Código Hexadecimal obtenido en el Paso 1 en el campo "mask_color". Este nodo segmentará automáticamente los objetos en función de los colores asignados. 🌟 Nota: Usamos Códigos Hexadecimales específicos para nuestros materiales en este flujo de trabajo. Si usas una imagen de máscara diferente, asegúrate de ingresar el Código Hexadecimal correspondiente en el campo "mask_color". Esto garantiza que el nodo "regional conditioning by color mask" segmente correctamente los objetos.
• Cargar Secuencias de Profundidad: Carga las secuencias de profundidad para proporcionar información sobre la distancia de los objetos en la escena.
• Cargar Secuencias de Contorno: Carga las secuencias de contorno para definir las formas y bordes de los objetos en la escena.

🌟 Cómo Cargar Secuencias de Imágenes por Ruta

Organiza Tus Secuencias

• Coloca tus secuencias de máscara en una carpeta, por ejemplo, {mask}.
• Coloca tus secuencias de profundidad en una carpeta separada, por ejemplo, {depth}.
• Coloca tus secuencias de contorno en otra carpeta, por ejemplo, {outline}.

Sube Carpetas

• Usa nuestro explorador de archivos para subir estas carpetas al directorio ComfyUI/input.

Ruta del Directorio

• La ruta completa del directorio debe ser: /home/user/ComfyUI/input/{folder_name}.
• Por ejemplo: /home/user/ComfyUI/input/{mask}.

2. Usa Indicaciones de Texto para Definir Efectos Visuales

Para Secuencias de Máscara, usa indicaciones de texto para especificar los efectos visuales deseados para cada objeto en la escena.

• Indicaciones Maestras: Esta indicación establece el estilo general y la iluminación para toda la escena. Dicta el ambiente, la atmósfera y el tono visual general que debe alcanzar el renderizado final.
• Indicaciones Regionales: Estas indicaciones proporcionan descripciones detalladas para objetos o áreas específicas dentro de la escena. Cada indicación debe corresponder a un objeto o región distinto, asegurando que cada elemento se represente con precisión según lo previsto.
• Indicaciones Negativas: Esta indicación enumera los elementos que deben excluirse del renderizado. Ayuda a evitar que ciertas características u objetos aparezcan en el resultado final, asegurando que la escena se mantenga enfocada y libre de detalles no deseados.

3. Módulo ControlNet

• Introduce las secuencias de profundidad en el modelo ControlNet Depth.
• Introduce las secuencias de contorno en el modelo ControlNet Canny.

4. Módulo AnimateDiff

• Usa este módulo para renderizar animaciones suaves a partir de las secuencias procesadas.

5. Uso Opcional de IPAdapter

• Usa el IPAdapter para orientación adicional de condicionamiento para mejorar la consistencia y calidad de las imágenes generadas.

Al aprovechar los datos 3D precisos de Blender junto con las poderosas capacidades de síntesis de imágenes de Stable Diffusion a través de ComfyUI, puedes generar animaciones 3D increíblemente fotorrealistas o estilizadas con control creativo total.