CogVideoX Tora | Modelo de Imagem para Vídeo

Os nós e seu fluxo de trabalho associado são totalmente desenvolvidos por Kijai. Damos todo o crédito a Kijai por este trabalho inovador. Na plataforma RunComfy, estamos simplesmente apresentando as contribuições de Kijai à comunidade. É importante notar que atualmente não há conexão formal ou parceria entre RunComfy e Kijai. Apreciamos profundamente o trabalho de Kijai!

CogVideoX Tora

Tora introduz uma nova estrutura para gerar vídeos de alta qualidade utilizando orientação baseada em trajetória em um modelo de transformador de difusão. Ao focar em trajetórias de movimento, Tora alcança uma síntese de vídeo mais realista e temporalmente coerente. Essa abordagem preenche a lacuna entre modelagem espaço-temporal e estruturas de difusão generativa.

Observe que esta versão do Tora é baseada no modelo CogVideoX-5B e destina-se apenas a fins de pesquisa acadêmica. Para detalhes de licenciamento, consulte .

1.1 Como Usar o Fluxo de Trabalho do CogVideoX Tora?

Este é o fluxo de trabalho do CogVideoX Tora, os nós do lado esquerdo são entradas, o meio são nós de processamento tora, e à direita estão os nós de saída.

• Arraste e solte sua imagem horizontal no nó de entrada.
• Escreva seus prompts de ação
• Faça um caminho de trajetória

1.2 Carregar Imagem de Entrada

• Carregue, arraste e solte ou copie e cole (Ctrl+V) sua imagem no nó de carregamento de imagem

[!CAUTION] Somente imagens em formato horizontal com dimensões - 720*480 funcionarão. Outras dimensões causarão erro.

1.3 Adicione Seus Prompts Positivos e Negativos

• Positivo: Insira as ações que ocorrem com o Assunto com base na Trajetória definida no nó de trajetória (movendo-se, fluindo... etc).
• Negativo: Insira o que você não quer que aconteça (Mãos distorcidas, embaçado... etc)

1.4 Faça a Trajetória para o Movimento

Aqui você define o caminho da Trajetória do movimento do assunto na foto carregada.

• points_to_sample: Define o número de quadros para renderização, ou a duração do seu vídeo em quadros.
• mask_width: O padrão é 720. NÃO ALTERE!
• mask_height : O padrão é 480. NÃO ALTERE!

Guia do Nó:

• Shift + clique para adicionar ponto de controle no final. Ctrl + clique para adicionar ponto de controle (subdividir) entre dois pontos.
• Clique com o botão direito em um ponto para excluí-lo.
• Observe que você não pode excluir do início/fim.
• Clique com o botão direito na tela para menu de contexto:
• Estas são opções puramente visuais, não afetam a saída:

Alternar visibilidade das alças

• Exibir pontos de amostra: exibe os pontos a serem retornados.
• O valor de points_to_sample define o número de amostras
• retornadas da própria spline desenhada, isso é independente dos
• pontos de controle reais, então o tipo de interpolação importa.

Método de amostragem:

• tempo: amostras ao longo do eixo do tempo, usado para cronogramas
• caminho: amostras ao longo do próprio caminho, útil para coordenadas

1.5 Carregar Modelos CogVideoX & Tora

Estes são os nós de download de modelo, ele fará o download automático dos modelos no seu comfyui em 2-3 minutos.

1.6 Amostrador CogVideo

• Passos: Este valor decide a qualidade do seu render. Mantenha entre 25 - 35 para o melhor e mais eficiente valor.
• cfg: O valor padrão é 6.0 para Amostragem CogVideo.
• força de desnoiser e Scheduler: Não altere isso.

1.7 Pesos e Força da Trajetória

Este nó definirá a força da sua trajetória de movimento.

• força: Valor alto dará figura distorcida ou ponto voador. Use entre 0.5 - 0.9.
• percentual_início: Use este valor para suavizar o efeito de movimento de força.
• percentual_fim: - Valor alto dará figura distorcida ou ponto voador. Use entre 0.3 - 0.7

1.8 Saídas

Estes nós darão 3 saídas.

1. Vídeo Renderizado de Saída
2. Caminho da trajetória sobreposto no vídeo renderizado
3. Vídeo de Trajetória em fundo preto

"CogVideoX Tora: Transformador de Difusão Orientado por Trajetória para Geração de Vídeo" apresenta uma abordagem inovadora para geração de vídeo ao introduzir orientação baseada em trajetória dentro de uma estrutura de transformador de difusão. Ao contrário dos modelos tradicionais de síntese de vídeo que lutam para manter a consistência temporal e o movimento realista, CogVideoX Tora foca explicitamente em modelar trajetórias de movimento. Isso permite que o sistema gere vídeos coerentes e visualmente convincentes ao entender como objetos e elementos evoluem ao longo do tempo. Ao combinar o poder dos modelos de difusão, conhecidos por gerar imagens de alta qualidade, com as capacidades de raciocínio temporal dos transformadores, CogVideoX Tora preenche a lacuna entre modelagem espacial e temporal.

O mecanismo orientado por trajetórias do CogVideoX Tora fornece controle refinado sobre movimentos de objetos e interações dinâmicas, tornando-o particularmente adequado para aplicações que exigem orientação de movimento precisa, como edição de vídeo, animação e geração de efeitos especiais. A capacidade do modelo de manter consistência temporal e transições realistas aumenta sua aplicabilidade na criação de conteúdo de vídeo suave e coerente. Ao integrar antecedentes de trajetória, CogVideoX Tora não apenas melhora a dinâmica do movimento, mas também reduz artefatos frequentemente vistos na geração baseada em quadros. Este avanço estabelece um novo padrão para síntese de vídeo, oferecendo uma ferramenta poderosa para criadores e desenvolvedores em áreas como cinema, realidade virtual e IA baseada em vídeo.