CogVideoX Tora | 图像到视频模型

The nodes and its associated workflow are fully developed by Kijai. We give all due credit to Kijai for this innovative work. On the RunComfy platform, we are simply presenting Kijai’s contributions to the community. It is important to note that there is currently no formal connection or partnership between RunComfy and Kijai. We deeply appreciate Kijai’s work!

CogVideoX Tora

Tora 引入了一种通过在扩散变压器模型中利用基于轨迹的指导来生成高质量视频的新框架。通过专注于运动轨迹，Tora 实现了更逼真且时间一致的视频合成。这种方法弥合了空间-时间建模与生成扩散框架之间的差距。

请注意，此版本的 Tora 基于 CogVideoX-5B 模型，仅用于学术研究目的。有关许可详情，请参阅 。

1.1 如何使用 CogVideoX Tora 工作流程？

这是 CogVideoX Tora 的工作流程，左侧节点是输入，中间是处理 Tora 节点，右侧是输出节点。

• 拖放您的水平图像到输入节点。
• 编写您的动作提示
• 制作轨迹路径

---

1.2 加载输入图像

• 上传、拖放或复制粘贴（Ctrl+V）您的图像到加载图像节点

[!CAUTION] 只有尺寸为 720*480 的水平格式图像才能工作。其他尺寸将产生错误。

1.3 添加您的正面和负面提示

• Positive: 输入基于轨迹节点定义的轨迹的主题进行的动作（移动、流动...等）。
• Negative: 输入您不希望发生的事情（扭曲的手、模糊...等）

1.4 为运动制作轨迹

在这里设置上传照片中主题的运动轨迹路径。

• points_to_sample: 这设置渲染帧数或视频帧的持续时间。
• mask_width: 默认是 720。请勿更改！
• mask_height : 默认是 480。请勿更改！

节点指南：

• Shift + 点击在末尾添加控制点。Ctrl + 点击在两个点之间添加控制点（细分）。
• 右键单击一个点以删除它。
• 请注意，您无法从开始/结束删除。
• 右键单击画布以打开上下文菜单：
• 这些纯粹是视觉选项，不影响输出：

切换句柄可见性

• 显示采样点：显示要返回的点。
• points_to_sample 值设置从绘制的样条曲线本身返回的样本数量，这独立于实际控制点，因此插值类型很重要。

Sampling_method:

• time: 沿时间轴采样，用于时间表
• path: 沿路径本身采样，对坐标有用

1.5 加载 CogVideoX & Tora 模型

这些是模型下载器节点，它将自动在您的 comfyui 中在 2-3 分钟内下载模型。

1.6 CogVideo 采样器

• Steps: 此值决定渲染的质量。保持在 25 - 35 之间以获得最佳和高效的值。
• cfg: CogVideo 采样的默认值为 6.0。
• denoising strength 和 Scheduler: 请勿更改。

1.7 轨迹权重和强度

此节点将设置您的运动轨迹的强度。

• strength: 高值会产生扭曲的图形或飞行点。使用 0.5 - 0.9 之间的值。
• start_percent: 使用此值来缓和强度运动的效果。
• end_percent: 高值会产生扭曲的图形或飞行点。使用 0.3 - 0.7 之间的值。

1.8 输出

这些节点将为您提供 3 个输出。

1. 输出渲染的视频
2. 在渲染视频上叠加的轨迹路径
3. 黑色背景上的轨迹视频

---

"CogVideoX Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 通过在扩散变压器框架中引入基于轨迹的指导，提出了一种创新的视频生成方法。与传统的视频合成模型难以保持时间一致性和逼真运动不同，CogVideoX Tora 明确专注于建模运动轨迹。这样，系统能够通过理解对象和元素如何随时间演变来生成连贯且视觉上令人信服的视频。通过结合扩散模型的高质量图像生成能力和变压器的时间推理能力，CogVideoX Tora 弥合了空间和时间建模之间的差距。

CogVideoX Tora 的轨迹导向机制提供了对对象运动和动态交互的细粒度控制，使其特别适用于需要精确运动指导的应用，如视频编辑、动画和特效生成。模型保持时间一致性和逼真过渡的能力增强了其在创建流畅和连贯视频内容方面的适用性。通过整合轨迹先验，CogVideoX Tora 不仅改善了运动动态，还减少了在基于帧的生成中常见的伪影。这一突破为视频合成设定了新的基准，为电影制作、虚拟现实和基于视频的 AI 领域的创作者和开发者提供了强大的工具。