CogVideoX Tora | Modelo de Imagen a Video

Los nodos y su flujo de trabajo asociado están completamente desarrollados por Kijai. Damos todo el crédito a Kijai por este trabajo innovador. En la plataforma RunComfy, simplemente estamos presentando las contribuciones de Kijai a la comunidad. Es importante señalar que actualmente no existe una conexión formal o asociación entre RunComfy y Kijai. ¡Apreciamos profundamente el trabajo de Kijai!

CogVideoX Tora

Tora introduce un marco novedoso para generar videos de alta calidad al aprovechar la guía basada en trayectoria en un modelo de transformador de difusión. Al centrarse en las trayectorias de movimiento, Tora logra una síntesis de video más realista y temporalmente coherente. Este enfoque cierra la brecha entre el modelado espacial-temporal y los marcos de difusión generativa.

Tenga en cuenta que esta versión de Tora se basa en el modelo CogVideoX-5B y está destinada únicamente para fines de investigación académica. Para detalles de licencia, consulte .

1.1 ¿Cómo usar el flujo de trabajo de CogVideoX Tora?

Este es el flujo de trabajo de CogVideoX Tora, los nodos del lado izquierdo son entradas, los del medio son nodos de procesamiento tora, y los de la derecha son el nodo de salidas.

• Arrastra y suelta tu imagen horizontal en el nodo de entrada.
• Escribe tus indicaciones de acción
• Crea una ruta de trayectoria

1.2 Cargar Imagen de Entrada

• Sube, arrastra y suelta o copia y pega (Ctrl+V) tu imagen en el nodo de carga de imagen

[!CAUTION] Solo funcionarán las imágenes en formato horizontal de dimensiones 720*480. Otras dimensiones darán error.

1.3 Agrega tus Indicaciones Positivas y Negativas

• Positivo: Ingresa las acciones que ocurren con el Sujeto basado en la Trayectoria definida en el nodo de trayectoria (moviendo, fluyendo....etc).
• Negativo: Ingresa lo que no deseas que suceda (manos distorsionadas, borroso...etc)

1.4 Crea Trayectoria para el movimiento

Aquí estableces la ruta de Trayectoria del movimiento del sujeto en la foto cargada.

• points_to_sample: Esto establece el número de fotogramas para la renderización, o la duración de tu video en fotogramas.
• mask_width: El valor predeterminado es 720. ¡NO CAMBIAR!
• mask_height: El valor predeterminado es 480. ¡NO CAMBIAR!

Guía de Nodo:

• Shift + clic para agregar un punto de control al final. Ctrl + clic para agregar un punto de control (subdividir) entre dos puntos.
• Clic derecho en un punto para eliminarlo.
• Nota que no puedes eliminar desde el inicio/final.
• Clic derecho en el lienzo para el menú contextual:
• Estas son opciones puramente visuales, no afectan la salida:

Alternar visibilidad de los manejadores

• Mostrar puntos de muestra: mostrar los puntos que se devolverán.
• El valor de points_to_sample establece el número de muestras
• devuelto desde la propia spline dibujada, esto es independiente de los
• puntos de control reales, por lo que el tipo de interpolación importa.

Método_de_muestreo:

• tiempo: muestras a lo largo del eje de tiempo, usado para horarios
• ruta: muestras a lo largo de la propia ruta, útil para coordenadas

1.5 Cargar Modelos de CogVideoX & Tora

Estos son los nodos de descarga de modelos, descargará automáticamente los modelos en tu comfyui en 2-3 minutos.

1.6 Muestrador de CogVideo

• Pasos: Este valor decide la calidad de tu render. Mantén entre 25 - 35 para el mejor y más eficiente valor.
• cfg: El valor predeterminado es 6.0 para el muestreo de CogVideo.
• fuerza de desruido y Programador: No cambies esto.

1.7 Pesos y Fuerza de Trayectoria

Este nodo establecerá la fuerza de tu trayectoria de movimiento.

• fuerza: Un valor alto dará una figura distorsionada o un punto volador. Usar entre 0.5 - 0.9.
• start_percent: Usa este valor para suavizar el efecto de la fuerza de movimiento.
• end_percent: - Un valor alto dará una figura distorsionada o un punto volador. Usar entre 0.3 - 0.7

1.8 Salidas

Estos nodos te darán 3 salidas.

1. Video Renderizado de Salida
2. Ruta de trayectoria sobrepuesta en el video renderizado
3. Video de Trayectoria en fondo negro

"CogVideoX Tora: Transformador de Difusión Orientado a la Trayectoria para Generación de Video" presenta un enfoque innovador para la generación de video al introducir una guía basada en trayectoria dentro de un marco de transformador de difusión. A diferencia de los modelos tradicionales de síntesis de video que luchan por mantener la consistencia temporal y el movimiento realista, CogVideoX Tora se enfoca explícitamente en modelar trayectorias de movimiento. Esto permite al sistema generar videos coherentes y visualmente convincentes al comprender cómo los objetos y elementos evolucionan con el tiempo. Al combinar el poder de los modelos de difusión, conocidos por la generación de imágenes de alta calidad, con las capacidades de razonamiento temporal de los transformadores, CogVideoX Tora cierra la brecha entre el modelado espacial y temporal.

El mecanismo orientado a la trayectoria de CogVideoX Tora proporciona un control de grano fino sobre los movimientos de los objetos e interacciones dinámicas, haciéndolo particularmente adecuado para aplicaciones que requieren una guía de movimiento precisa, como edición de video, animación y generación de efectos especiales. La capacidad del modelo para mantener la consistencia temporal y transiciones realistas mejora su aplicabilidad en la creación de contenido de video suave y coherente. Al integrar priors de trayectoria, CogVideoX Tora no solo mejora la dinámica del movimiento sino que también reduce los artefactos que a menudo se ven en la generación basada en fotogramas. Este avance establece un nuevo punto de referencia para la síntesis de video, ofreciendo una herramienta poderosa para creadores y desarrolladores en campos como la cinematografía, realidad virtual e IA basada en video.