Flujo de trabajo/Tutorial de AnimateDiff ComfyUI - Animación de Stable Diffusion

¡Hola! ¿Alguna vez te has maravillado con la idea de convertir texto en videos? Esto no es completamente nuevo, pero se está poniendo cada vez más interesante. Hoy, hablemos sobre una de estas geniales herramientas, AnimateDiff en el entorno ComfyUI. Ya seas un artista digital o simplemente ames explorar nuevas tecnologías, AnimateDiff ofrece una forma emocionante de transformar tus ideas de texto en GIFs animados y videos.

Cubriremos:

1. ¿Cómo funciona AnimateDiff?
2. Flujo de trabajo AnimateDiff de ComfyUI: sin necesidad de instalación, totalmente gratis
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Nuevo módulo de movimiento en Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. Configuración de AnimateDiff: cómo usar AnimateDiff en ComfyUI
   • Modelos AnimateDiff
   • Modelos CheckPoint para AnimateDiff
   • Beta Schedule
   • Motion Scale
   • Context Batch Size determina la duración de la animación
   • Context Length
   • Motion LoRA para dinámica de cámara (solo AnimateDiff v2)
5. Prompt de AnimateDiff
6. AnimateDiff Prompt Travel / Programación de prompts
7. ComfyUI Hires Fix: mejorando tus animaciones
8. Flujo de trabajo AnimateDiff de ComfyUI listo para usar: explorando la animación de Stable Diffusion

1. ¿Cómo funciona AnimateDiff?

El núcleo de AnimateDiff es un módulo de modelado de movimiento. Piénsalo como el cerebro de la operación, aprendiendo todo sobre el movimiento a partir de varios clips de video. Es como tener un profesor de danza que conoce cada movimiento en el libro. Este módulo se integra a la perfección con modelos pre-entrenados de texto a imagen. Por lo tanto, ya no estás limitado a imágenes estáticas: ¡tus creaciones pueden bailar, saltar y girar!

2. Flujo de trabajo AnimateDiff de ComfyUI: sin necesidad de instalación, totalmente gratis

Echa un vistazo al video de arriba que fue creado usando el flujo de trabajo AnimateDiff de ComfyUI. Ahora, puedes sumergirte directamente en este Flujo de trabajo de Animatediff sin la molestia de la instalación. Tenemos todo configurado para ti en un ComfyUI basado en la nube, completo con el flujo de trabajo AnimateDiff y todos los modelos y nodos personalizados esenciales de Animatediff V3, Animatediff SDXL y Animatediff V2.

Siéntete libre de experimentar y jugar con él. O puedes continuar leyendo este tutorial sobre cómo usar AnimateDiff y luego intentarlo más tarde.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Demos un paseo por las diferentes versiones de AnimateDiff. Cada versión tiene su propio encanto, ¡así que prepárate para un recorrido rápido!

3.1. AnimateDiff V3: nuevo módulo de movimiento en Animatediff

AnimateDiff V3 no es solo una nueva versión, es una evolución en la tecnología del módulo de movimiento, destacándose por sus características refinadas. El módulo de movimiento v3_sd15_mm.ckpt es el corazón de esta versión, responsable de animaciones matizadas y flexibles.

Analicemos la magia tecnológica detrás de él. El protagonista aquí es el módulo Domain Adapter LoRA, que es esencialmente un preparador para el módulo de movimiento. Al entrenar en fotogramas estáticos del conjunto de datos de video, este módulo LoRA equipa a AnimateDiff para ser más hábil en el manejo del movimiento. Bastante genial, ¿verdad?

Al usar AnimateDiff V3, notarás que no necesariamente supera a Animatediff V2 en todos los aspectos. En cambio, ofrece diferentes tipos de movimientos, agregando más herramientas a tu arsenal creativo.

Prompt positivo：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Prompt negativo: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Si te interesan los videos de alta resolución, AnimateDiff SDXL podría ser una opción. Ejecutándose en el módulo de movimiento mm_sdxl_v10_beta.ckpt, está diseñado para crear animaciones de resolución 1024x1024 con 16 fotogramas. Solo ten en cuenta que aún está en Beta, por lo que podría ser prudente esperar un poco antes de sumergirte.

Usa el mismo Prompt positivo y Prompt negativo que con AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

¡AnimateDiff V2 es el clásico! Con mm_sd_v15_v2.ckpt, esta versión ofrece MotionLoRA para ocho movimientos esenciales de cámara: acercar/alejar, panorámica izquierda/derecha, inclinar arriba/abajo y rodar en sentido horario/antihorario. Animatediff V2 es perfecto si buscas movimientos dinámicos de cámara para agregar drama a tus animaciones.

Usa el mismo Prompt positivo y Prompt negativo que con AnimateDiff V3

CheckPoint: toonyou_beta6

4. Configuración de AnimateDiff: cómo usar AnimateDiff en ComfyUI

Una vez que ingreses al flujo de trabajo AnimateDiff dentro de ComfyUI, encontrarás un grupo etiquetado como "AnimateDiff Options" como se muestra a continuación. Esta área contiene la configuración y las características que probablemente uses mientras trabajas con AnimateDiff.

4.1. Modelos AnimateDiff

Primero, elige el módulo de movimiento AnimateDiff que deseas probar en el menú desplegable model_name:

• v3_sd15_mm.ckpt para AnimateDiff V3
• mm_sdxl_v10_beta.ckpt para AnimateDiff SDXL
• mm_sd_v15_v2.ckpt para AnimateDiff V2

4.2. Modelos CheckPoint para AnimateDiff

AnimateDiff necesita un modelo chickpoint de Stable Diffusion.

Para AnimateDiff V2 y V3, debes usar un modelo SD v1.5. Modelos como realisticVisionV60B1_V51VAE, toonyou_beta6 y cardos_Animev2.0 son las principales opciones.

Si te inclinas por AnimateDiff SDXL, apunta a un modelo SDXL, como sd_xl_base_1.0 o dreamshaperXL10_alpha2Xl10.

Dentro del entorno en la nube de RunComfy, todos los módulos de movimiento y modelos de checkpoint vienen preinstalados para tu comodidad.

4.3. Beta Schedule

Beta Schedule en AnimateDiff determina el comportamiento del proceso de reducción de ruido durante la generación de la animación.

Para AnimateDiff V3 y V2, la configuración sqrt_linear es generalmente el camino a seguir, pero no dudes en probar linear para algunos efectos interesantes.

Para AnimateDiff XL, quédate con linear (AnimateDiff-SDXL).

4.4. Motion Scale

Motion Scale en AnimateDiff te permite controlar la intensidad del movimiento. Menos de 1 significa movimiento más sutil; más de 1 significa movimiento más pronunciado.

4.5. Context Batch Size determina la duración de la animación

Batch Size en AnimateDiff representa los bloques de construcción de tu animación. Sirve como el factor fundamental que influye en la duración de tu animación. Determina la cantidad de "escenas" o segmentos de los que constará tu animación.

Los tamaños de lote más grandes conducen a más escenas en tu animación, lo que permite una experiencia de narración más larga y elaborada. No hay límite superior para el tamaño del lote, por lo que eres libre de crear animaciones tan largas o cortas como desees. El tamaño de lote predeterminado es 16.

• Tamaño de lote 16 = Un video rápido de 2 segundos
• Tamaño de lote 32 = Un clip breve de 4 segundos
• Tamaño de lote 64 = Una función más extendida de 8 segundos

4.6. Context Length

Uniform Context Length en AnimateDiff juega un papel fundamental para garantizar transiciones suaves entre las escenas establecidas por tu Batch Size. Es como tener un editor experto que sabe exactamente cómo unir escenas para lograr el flujo más natural.

La duración que estableces para Uniform Context dictará la naturaleza de las transiciones entre escenas. Una duración más larga de Uniform Context conduce a transiciones más suaves y graduales, haciendo que el cambio de una escena a otra sea casi imperceptible. Por otro lado, una duración más corta creará transiciones más rápidas y notables, lo que podría ser ideal para ciertos efectos narrativos. La longitud predeterminada de Uniform Context es 16.

4.7. Motion LoRA para dinámica de cámara (solo AnimateDiff v2)

Motion LoRAs son exclusivamente compatibles con AnimateDiff v2. Estas ingeniosas adiciones aportan una capa dinámica de movimiento de cámara a tus animaciones. Cuando uses Motion LoRAs, es crucial lograr el equilibrio adecuado con el peso de LoRA. Configurarlo alrededor de 0.75 tiende a dar en el clavo, proporcionándote movimientos suaves de cámara sin molestos artefactos de fondo.

Además, tienes la libertad creativa de encadenar múltiples Motion LoRAs. Al combinar estratégicamente diferentes modelos de Motion LoRA, puedes orquestar movimientos de cámara complejos, experimentar y encontrar la combinación perfecta de movimientos para tu visión única de animación, elevando así tu animación a una obra maestra cinematográfica.

Aquí hay un ejemplo de usar las características "Pan Left" y "Zoom In" de Motion LoRa juntas.

5. Prompt de AnimateDiff

Muy bien, ahora que tienes tu modelo y la configuración de AnimateDiff ajustados, ¡es hora del espectáculo! Aquí es donde transformas tu texto en animaciones de video.

Aquí hay un ejemplo de un prompt positivo y un prompt negativo:

Prompt positivo：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Prompt negativo: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Travel / Programación de prompts

Pero espera, ¡hay más! ¿Has probado Prompt Travel / Programación de prompts? Piénsalo como ponerte en los zapatos de un director de cine. Estás al mando, creando tu historia escena por escena. Es como armar un rompecabezas donde cada pieza es un momento de tu historia.

¿Cómo funciona Prompt Travel?

Imagina que estás creando una mini película. Estableces el Prompt 1 en el Frame 1 y el Prompt 2 en el Frame 8, y así sucesivamente. AnimateDiff combinará estos prompts sin problemas, creando una transición suave del Frame 1 al Frame 8.

Consejo: Si bien Prompt Travel puede ser intrigante, es importante tener en cuenta que no siempre es un éxito garantizado. La efectividad de Prompt Travel también depende del modelo de checkpoint que selecciones. Por ejemplo, el modelo cardos_Animev2.0 es compatible con Prompt Travel, pero este no es el caso para todos los modelos. Además, el resultado puede ser impredecible: algunos prompts pueden no combinarse bien, lo que resulta en transiciones menos que ideales. Esto hace que Prompt Travel sea más una característica experimental que una herramienta garantizada para una animación fluida.

Hemos colocado el nodo "Prompt Travel / Prompt Scheduling" al final del flujo de trabajo AnimateDiff ComfyUI. Si tienes curiosidad por experimentar, deberás usar "Prompt Travel" en lugar de la opción "Prompt" regular.

7. ComfyUI Hires Fix: mejorando tus animaciones

Al emplear AnimateDiff junto con Hi-Res fix, puedes mejorar la resolución de tus imágenes. Este proceso transforma imágenes ligeramente borrosas en obras maestras cristalinas. En esta sección, presentaremos dos métodos.

7.1. Latent Upscale

Escalado ascendente latente tradicional en ComfyUI. Al aplicar configuraciones como fuerza de denoising de 0.6 y elegir un aumento de escala de 1.5x, verás que tus animaciones se transforman con detalles más ricos y mayor claridad. ¡Es como ponerse anteojos y de repente ver el mundo en alta definición!

7.2. ControlNet Upscale

El escalado ascendente latente tradicional es genial, pero subamos de nivel con Control Net Assisted Latent Upscale. Utiliza ControlNets para un aumento de escala más preciso, asegurando que tu animación mantenga su integridad. Con la adición de un preprocesador de lineart y el modelo controlnet adecuado, mejorarás tu arte mientras mantienes intacta su alma.

8. Flujo de trabajo AnimateDiff de ComfyUI listo para usar: explorando la animación de Stable Diffusion

Hemos profundizado en el fascinante mundo de AnimateDiff en ComfyUI. Para aquellos ansiosos por experimentar con el flujo de trabajo AnimateDiff de ComfyUI que hemos destacado, definitivamente prueba RunComfy, un entorno en la nube equipado con una poderosa GPU y completamente preparado, incluido todo, desde modelos esenciales hasta nodos personalizados. ¡No se necesita configuración manual! Solo un patio de juegos para liberar tu creatividad. 🌟

Autor: Editores de RunComfy

Nuestro equipo de editores ha estado trabajando con IA durante más de 15 años, comenzando con NLP/Vision en la era de RNN/CNN. Hemos acumulado una enorme cantidad de experiencias en Chatbot/Art/Animation de IA, como BERT/GAN/Transformer, etc. Contáctanos si necesitas ayuda con arte, animación y video de IA.