MimicMotion | Generación de Videos de Movimiento Humano

¿Qué es MimicMotion?

MimicMotion es un marco de generación de video controlable desarrollado por investigadores de Tencent y la Universidad Jiao Tong de Shanghai. Puede generar videos de alta calidad de longitud arbitraria siguiendo cualquier guía de movimiento proporcionada. En comparación con métodos anteriores, MimicMotion sobresale en producir videos con ricos detalles, buena suavidad temporal y la capacidad de generar secuencias largas.

¿Cómo Funciona MimicMotion?

MimicMotion toma una imagen de referencia y una guía de pose como entradas. Luego genera un video que coincide con la apariencia de la imagen de referencia mientras sigue la secuencia de movimiento proporcionada.

Algunas innovaciones clave permiten el fuerte rendimiento de MimicMotion:

1. Guía de pose consciente de la confianza: Al incorporar información de confianza en la pose, MimicMotion logra una mejor suavidad temporal y es más robusto frente a datos de entrenamiento ruidosos. Esto le ayuda a generalizar bien.
2. Amplificación de pérdida regional: Enfocar la pérdida más intensamente en las regiones de pose de alta confianza, especialmente las manos, reduce significativamente la distorsión de la imagen en los videos generados.
3. Fusión latente progresiva: Para generar videos largos y suaves de manera eficiente, MimicMotion genera segmentos de video con fotogramas superpuestos y fusiona progresivamente sus representaciones latentes. Esto permite generar videos de longitud arbitraria con un costo computacional controlado.

El modelo se preentrena primero en grandes conjuntos de datos de video y luego se ajusta para la tarea de imitación de movimiento. Esta tubería de entrenamiento eficiente no requiere grandes cantidades de datos especializados.

Cómo Usar ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Después de probar diferentes nodos de MimicMotion disponibles en ComfyUI, recomendamos usar para obtener los mejores resultados.

Paso 1: Preparando su Entrada para MimicMotion

Para comenzar a animar con ComfyUI MimicMotion, necesitará dos ingredientes clave:

• Una imagen de referencia: Este es el fotograma inicial que sirve como punto de partida para su animación. Elija una imagen que muestre claramente el sujeto que desea animar.
• Imágenes de pose: Estas son las imágenes que definen la secuencia de movimiento. Cada imagen de pose debe mostrar la posición o pose deseada de su sujeto en un punto específico de la animación. Puede crear estas imágenes de pose manualmente o usar herramientas de estimación de pose para extraer poses de un video.

🌟Asegúrese de que su imagen de referencia y las imágenes de pose tengan la misma resolución y relación de aspecto para obtener resultados óptimos.🌟

Paso 2: Cargando el Modelo MimicMotion

ComfyUI MimicMotion requiere el modelo MimicMotion para funcionar correctamente. En RunComfy, el modelo ya está precargado para su conveniencia. Para configurar el nodo "DownLoadMimicMotionModel", siga estos pasos:

• Configure el parámetro "model" a "MimicMotion-fp16.safetensors" (o el nombre del archivo de modelo apropiado, si es diferente).
• Seleccione la precisión deseada (fp32, fp16 o bf16) según las capacidades de su GPU. Esta elección puede afectar el rendimiento y la compatibilidad.
• Deje el parámetro "lcm" configurado en False, a menos que desee específicamente usar la variante LCM (Latent Conditional Motion) del modelo.

Una vez que haya configurado los ajustes del nodo, conecte la salida del nodo "DownloadAndLoadMimicMotionModel" a la entrada del siguiente nodo en su flujo de trabajo. Esto garantizará que el modelo MimicMotion cargado se utilice correctamente en los pasos subsiguientes de su pipeline de ComfyUI.

Paso 3: Configurando el Muestreador MimicMotion

El nodo "MimicMotionSampler" es responsable de generar los fotogramas animados basados en su entrada. Así es como puede configurarlo:

• Agregue el nodo "MimicMotionSampler" y conéctelo a la salida del nodo "DownloadAndLoadMimicMotionModel".
• Configure el parámetro "ref_image" a su imagen de referencia y el parámetro "pose_images" a su secuencia de imágenes de pose.
• Ajuste las configuraciones de muestreo según sus preferencias:
  • "steps" determina el número de pasos de difusión (valores más altos conducen a resultados más suaves pero tiempos de procesamiento más largos).
  • "cfg_min" y "cfg_max" controlan la fuerza de la guía condicional (valores más altos se adhieren más estrechamente a las imágenes de pose).
  • "seed" establece la semilla aleatoria para la reproducibilidad.
  • "fps" especifica los fotogramas por segundo de la animación generada.
  • Ajuste parámetros adicionales como "noise_aug_strength", "context_size" y "context_overlap" para experimentar con diferentes estilos y coherencia temporal.

Paso 4: Decodificando las Muestras Latentes

El nodo "MimicMotionSampler" produce representaciones en el espacio latente de los fotogramas animados. Para convertir estos latentes en imágenes reales, debe usar el nodo "MimicMotionDecode":

• Agregue el nodo "MimicMotionDecode" y conéctelo a la salida del nodo "MimicMotionSampler".
• Configure el parámetro "decode_chunk_size" para controlar el número de fotogramas decodificados simultáneamente (valores más altos pueden consumir más memoria GPU). La salida del nodo "MimicMotionDecode" serán los fotogramas animados finales en formato de imagen.

Paso 5: Mejorando las Poses con MimicMotionGetPoses

Si desea visualizar las poses extraídas junto con su imagen de referencia, puede usar el nodo "MimicMotionGetPoses":

• Conecte la "ref_image" y las "pose_images" al nodo "MimicMotionGetPoses".
• Configure los parámetros "include_body", "include_hand" y "include_face" para controlar qué puntos clave de pose se muestran. La salida incluirá la imagen de referencia con la pose extraída y las imágenes de pose individuales.

Consejos y Mejores Prácticas

Aquí hay algunos consejos para ayudarle a sacar el máximo provecho de ComfyUI MimicMotion:

• Experimente con diferentes imágenes de referencia y secuencias de pose para crear una variedad de animaciones.
• Ajuste las configuraciones de muestreo para equilibrar la calidad y el tiempo de procesamiento según sus necesidades.
• Use imágenes de pose de alta calidad y consistentes para obtener los mejores resultados. Evite cambios drásticos en la perspectiva o la iluminación entre las poses.
• Monitoree el uso de memoria de su GPU, especialmente cuando trabaje con imágenes de alta resolución o animaciones largas.
• Aproveche el nodo "DiffusersScheduler" para personalizar la programación de ruido para efectos únicos.

ComfyUI MimicMotion es una herramienta poderosa y versátil que le permite crear animaciones impresionantes sin esfuerzo. Al comprender el flujo de trabajo y explorar los diversos parámetros, podrá animar a cualquiera con facilidad. A medida que se adentre en el mundo de la animación, recuerde experimentar, iterar y divertirse durante todo el proceso. Con ComfyUI MimicMotion, las posibilidades son infinitas, ¡así que disfrute dando vida a sus visiones creativas!