Mapas de Profundidad Z | Animaciones al estilo Houdini

¿Alguna vez has querido crear impresionantes animaciones al estilo Houdini pero te sentiste intimidado por la complejidad del software 3D? ¡No busques más! Este innovador flujo de trabajo de ComfyUI te guiará a través del proceso de aplicar manipulaciones de profundidad (Z-Depth) y generar animaciones cautivadoras usando solo imágenes 2D.

Ya seas un artista, diseñador o entusiasta, podrás generar impresionantes animaciones que parecen y se sienten como si hubieran sido creadas usando técnicas avanzadas de 3D, todo mientras trabajas con la simplicidad y facilidad de imágenes 2D en ComfyUI.

Paso 1: Crear una Imagen Inicial

Para empezar, necesitarás generar una imagen inicial que servirá como base para tu animación. Una vez que tengas tu imagen, redúcela a un tamaño más pequeño, como 1 megapíxel, para mantener el tamaño del archivo manejable.

Paso 2: Crear una Animación de Máscara a partir de una Imagen Única

En este paso, transformarás tu imagen única en una animación de máscara. Comienza creando un video a partir de tu imagen única repitiéndola por un número deseado de fotogramas, como 32. Para aislar tu sujeto, elimina el fondo usando un modelo de eliminación de fondo como InSPyR-Net. Después de eliminar el fondo, contrae ligeramente la máscara resultante por unos pocos píxeles para asegurarte de que funcione bien con el proceso de manipulación de profundidad.

Luego, extrae la información de profundidad de tu fotograma único y conéctala al control net depth. Repite los fotogramas de profundidad por el mismo número de fotogramas que tu video. Pasa los fotogramas de profundidad repetidos a los nodos Time Feature y Flex Mask Depth Chamber. El nodo Time Feature guiará la animación a través del tiempo con una tasa de fotogramas fija. Establece el tiempo de efecto a "suave" y elige un valor de velocidad bajo, como 0.1.

Las características de tiempo controlarán el corte de tu sujeto a lo largo del eje de profundidad Z. Ajusta la posición inicial de los planos Z-frontal y Z-trasero para comenzar la acción a mitad de tu sujeto. Mueve ambos planos usando el parámetro "feature" con un movimiento de "compresión" para crear el efecto de corte deseado. Para mejorar el efecto de difusión diferencial y asegurar transiciones más suaves, añade una pequeña cantidad de desenfoque usando la configuración "crecer con desenfoque".

Al final de este paso, habrás convertido tu imagen única en una animación de máscara que está lista para el proceso de manipulación y corte de profundidad. Esta animación de máscara servirá como base para crear el efecto al estilo Houdini en los pasos siguientes del flujo de trabajo.

Paso 3: Generar la Animación

En este paso, darás vida a tu animación generando fotogramas usando la animación de máscara preparada y la información de profundidad. Comienza cargando un checkpoint, como el checkpoint 1.5 para AnimateDiff, junto con cualquier LoRAs deseados para mejorar la calidad y el estilo de tus fotogramas generados.

Configura un paso de acondicionamiento simple con un prompt positivo que describa la parte de la máscara resultante que será cortada. Este prompt guiará el proceso de generación y ayudará a mantener la consistencia a lo largo de la animación. Aplica un ControlNet depth basado en la profundidad de tu sujeto original para asegurar que los fotogramas generados mantengan las características de profundidad deseadas.

Si tienes áreas más grandes que necesitan repintado, puedes opcionalmente habilitar el grupo IP Adapter para manejar esas regiones de manera más efectiva. Realiza la inferencia con Difusión Diferencial y establece la máscara de ruido latente. Codifica los 32 fotogramas de tu imagen original y manipula el espacio latente con ruido para cada fotograma, pero solo en el área blanca correspondiente que ha sido cortada.

Para mejorar aún más la suavidad y fluidez de tu animación, pasa los fotogramas resultantes a través de un nodo RIFE (Estimación de Flujo Intermedio en Tiempo Real) para la interpolación de fotogramas. Este proceso duplicará el número de fotogramas, haciendo que tu video sea más largo y suave. Al interpolar entre los fotogramas generados, RIFE ayuda a crear una animación más continua y visualmente atractiva.

Al final de este paso, habrás generado una animación completa basada en tu imagen original, información de profundidad y animación de máscara.

Paso 4: Mezclar Diferentes Animaciones (Opcional)

Si quieres llevar tu animación al siguiente nivel, puedes generar dos animaciones diferentes, como fuego y hielo, usando el mismo proceso que antes pero con diferentes prompts y recondicionando la profundidad. Divide el intervalo de la imagen en cinco secciones. Toma el primer 25% de una animación y el 25% restante (75% a 100%) de la otra animación como los puntos de inicio y fin. Mezcla los puntos medios (25% a 40%, 40% a 60%, 60% a 75%) de ambas animaciones para que la mezcla resultante comience más como la primera animación y gradualmente se convierta más en la segunda animación.