FramePack 包装器 | 高效长视频生成

ComfyUI FramePack 包装器描述

1. 什么是 ComfyUI FramePack 包装器？

ComfyUI FramePack 包装器将斯坦福大学的先进 FramePack 技术集成到 ComfyUI 环境中。FramePack 建立在创新的帧上下文打包技术之上，使得使用最少的计算资源进行高效和高质量的长视频生成成为可能。FramePack 技术允许您使用即使是 6GB 笔记本 GPU 这样的普通 GPU 配置以完整的 30fps 生成数千帧，使专业视频创作对每个人都可访问。FramePack 独特的视频生成方法感觉像图像扩散，但提供了卓越的视频效果。

2. ComfyUI FramePack 包装器的优点：

• 高效的资源使用： FramePack 在较小的云机器上生成视频，对 GPU 内存要求极低
• O(1) 计算复杂度： FramePack 无论视频长度如何都保持恒定的处理速度
• 抗漂移技术： FramePack 解决了视频质量随时间下降的常见问题
• 长视频的一致质量： FramePack 即使对于 30-60+ 秒的视频也能保持高视觉质量，而没有其他视频生成模型中常见的降质问题
• 无时间步蒸馏： FramePack 在保持效率的同时保留质量

3. 如何使用 ComfyUI FramePack 包装器

3.1 使用 ComfyUI FramePack 的生成方法

FramePack 示例设置：

1. 准备输入：
   • 在 Load Image 节点中：上传将与 FramePack 一起动画生成视频的参考图像
2. 配置关键参数：
   • 在 FramePackSampler 中：设置视频长度（例如 5.0 秒）
   • 在 Video Combine 中：设置帧率（例如 30）和输出格式（例如 video/h264-mp4）
3. 点击 run 按钮运行 FramePack 工作流程
4. 生成的 FramePack 视频将根据您在 Video Combine 节点中的设置保存

3.2 ComfyUI FramePack 的参数参考

FramePackSampler 节点：

• steps: 扩散步骤数（例如 30） - 更高的值在 FramePack 中产生更好的质量但需要更长时间
• guidance_scale: FramePack 中的附加引导强度（例如 10.00） - 更高的值更严格地遵循提示
• seed: 在 FramePack 中生成可重复结果的随机种子（例如 47）
• total_second_length: 在 FramePack 中生成的视频的持续时间（以秒为单位）（例如 5.0）
• control_after_generate: 在 FramePack 中控制抗漂移采样方法（保持为 "fixed" 以获得最佳结果）

Video Combine 节点：

• frame_rate: 在输出 FramePack 视频中的每秒帧数（例如 30）
• crf: 压缩质量因子（例如 19） - 较低的值 = 更高质量的 FramePack 视频

3.3 使用 ComfyUI FramePack 的高级优化

使用 FramePack 生成更长的视频： FramePack 的关键优势之一是能够高效地生成更长的视频。要创建更长的视频：

• 在 FramePackSampler 节点中增加 total_second_length 参数（例如，从 5.0 增加到 10.0、30.0 或甚至 60.0+）
• 将 control_after_generate 保持为 "fixed" 以利用 FramePack 的先进抗漂移采样技术
• 在生成超过 10 秒的视频时，考虑稍微增加 gpu_memory_preservation 值以管理内存使用
• 对于非常长的视频（30+ 秒），您可能需要减少 latent_window_size 参数
• FramePack 的 O(1) 计算复杂度确保无论视频长度如何都能保持一致的生成速度
• 编写时间提示： 对于更长的视频，包括 "gradually"、"slowly"、"then" 等词以指导时间流动并描述元素如何随时间变化

调整视频分辨率： 要更改输出 FramePack 视频分辨率，请在工作流程中调整 "Resize Image" 节点：

• 修改 width 和 height 参数以设置您想要的 FramePack 视频尺寸
• 建议将尺寸保持为 8 的倍数以获得最佳 FramePack 结果
• 注意：更高的分辨率将需要更多的 GPU 内存和处理时间与 FramePack
• 对于更大的分辨率，您可能需要调整 gpu_memory_preservation 参数以平衡 FramePack 中的内存使用

FramePack 提示技巧：

• 在您的提示中详细描述运动和过渡，以获得更好的 FramePack 结果
• 包括描述 FramePack 中所需运动的具体动词
• 为获得最佳效果，描述场景以及元素在 FramePack 视频中应如何移动/改变

关于 FramePack 的更多信息

FramePack 技术使用创新的双向采样方法，打破了传统的因果关系限制，以防止较长视频中的质量下降。特别是对于图像到视频生成，FramePack 采用 "inverted anti-drifting sampling"，在整个生成过程中将第一帧视为近似目标，即使在长达 60 秒或更长时间（1800+ 帧）的视频中也能确保高质量结果。

有关更多详细信息和 FramePack 模型下载：

• FramePack 原始研究由
• ComfyUI FramePack 包装器实现由

致谢

此工作流程由 FramePack 驱动，由 Lvmin Zhang 和 Maneesh Agrawala 在斯坦福大学 开发。ComfyUI FramePack 包装器 由 kijai 提供，包括定制的工作流程和集成，使得使用 FramePack 技术进行高效长视频生成成为可能。全体荣誉归于原始作者对 FramePack 的开创性工作。