ToonCrafter | Interpolación Generativa de Dibujos Animados

1. ¿Qué es ToonCrafter?

ToonCrafter es una técnica avanzada de IA que interpola entre dos imágenes de dibujos animados utilizando priors de difusión de imagen a video preentrenados. Esto permite que ToonCrafter genere videos interpolados a partir de dos imágenes de dibujos animados distintas, creando una transición fluida entre ellas. Soporta la generación de videos de hasta 16 cuadros con una resolución de 512x320 píxeles.

2. ¿Cómo funciona ToonCrafter?

ToonCrafter es una herramienta de IA diseñada para crear animaciones suaves a partir de imágenes estáticas de dibujos animados utilizando técnicas avanzadas de IA. Emplea Modelos de Difusión Latente (LDMs) para codificar las imágenes en un espacio latente comprimido, donde se añade ruido y luego se elimina progresivamente a través de un proceso de desruido. Este método genera cuadros intermedios entre las imágenes originales, resultando en animaciones fluidas​.

Una característica notable de ToonCrafter es su Aprendizaje de Rectificación de Dibujos Animados. Este proceso adapta el modelo de IA, originalmente entrenado en videos de acción en vivo, para comprender y generar animaciones de dibujos animados. Al ajustar finamente el modelo con un gran conjunto de datos de videos de dibujos animados de alta calidad, ToonCrafter aprende los elementos únicos de movimiento y estilo de los dibujos animados, como movimientos exagerados y texturas más simples​.

ToonCrafter también incorpora un mecanismo de Inyección y Propagación de Detalles. Esto utiliza un decodificador 3D basado en referencia dual para mantener la fidelidad visual de los cuadros generados. El decodificador analiza e inyecta detalles a nivel de píxel de los cuadros de entrada en los nuevos cuadros, asegurando consistencia con la obra original y previniendo artefactos visuales​.

Además, ToonCrafter ofrece generación controlable basada en bocetos, permitiendo a los animadores proporcionar bocetos que guíen la creación de cuadros intermedios. Esta característica da a los artistas más control sobre el proceso de animación, permitiéndoles especificar poses o movimientos particulares y asegurando que la animación final se alinee con su visión​​.

3. Cómo usar ComfyUI ToonCrafter

Nodo ComfyUI ToonCrafter: Parámetros de Entrada

El nodo ToonCrafter requiere varios parámetros de entrada que determinan el comportamiento y el resultado del proceso de interpolación. Aquí tienes una explicación detallada de cada parámetro:

• image: La primera imagen de entrada (tipo: IMAGE).
• image2: La segunda imagen de entrada (tipo: IMAGE).
• ckpt_name: El nombre del checkpoint a usar (tipo: STRING, opciones: lista de checkpoints disponibles).
• prompt: Una descripción textual para guiar la interpolación (tipo: STRING, soporta prompts multilineales y dinámicos).
• seed: Un valor de semilla para la generación de números aleatorios para asegurar la reproducibilidad (tipo: INT, por defecto: 123).
• eta: El parámetro controla la escala del ruido añadido durante el proceso de difusión. En los modelos de difusión, el ruido se reduce gradualmente para generar la imagen o cuadro final. Ajustar el valor de eta determina cuánto ruido se introduce en cada iteración de este proceso. (tipo: FLOAT, por defecto: 1.0, rango: 0.0 a 15.0, paso: 0.1).
• cfg_scale: La escala de orientación sin clasificador (tipo: FLOAT, por defecto: 7.5, rango: 1.0 a 15.0, paso: 0.5).
• steps: Número de pasos de difusión (tipo: INT, por defecto: 50, rango: 1 a 60, paso: 1).
• frame_count: El número de cuadros a generar (tipo: INT, por defecto: 10, rango: 5 a 30, paso: 1).
• fps: Cuadros por segundo para el video de salida (tipo: INT, por defecto: 8, rango: 1 a 60, paso: 1).

Nodo ComfyUI ToonCrafter: Parámetros de Salida

La salida del nodo ToonCrafter es una secuencia de cuadros interpolados, que se pueden usar para crear un video. Aquí tienes lo que puedes esperar:

• IMAGE: Los cuadros generados del video interpolado. Estos cuadros se devuelven como un tensor y pueden ser procesados o guardados como un archivo de video.