ToonCrafter | 生成卡通插值
这个ComfyUI ToonCrafter工作流可以帮助您在两张卡通图像之间生成卡通插值,支持高达16帧,分辨率为512x320像素。ComfyUI ToonCrafter 工作流程
ComfyUI ToonCrafter 示例



ComfyUI ToonCrafter 描述
1. 什么是ToonCrafter?
ToonCrafter是一种先进的AI技术,使用预训练的图像到视频扩散先验在两张卡通图像之间进行插值。这使得ToonCrafter能够从两张不同的卡通图像生成插值视频,创建无缝的过渡。它支持高达16帧的视频生成,分辨率为512x320像素。
2. ToonCrafter如何工作?
ToonCrafter是一个AI工具,旨在使用先进的AI技术从静态卡通图像创建平滑动画。它采用潜在扩散模型(LDMs)将图像编码到压缩的潜在空间,在此过程中添加噪声,然后通过去噪过程逐步去除噪声。这种方法生成原始图像之间的中间帧,从而产生流畅的动画。
ToonCrafter的一个显著特点是它的Toon矫正学习。该过程使AI模型适应卡通动画的理解和生成,最初训练于真人视频。通过使用大量高质量卡通视频数据集对模型进行微调,ToonCrafter学习了卡通的独特运动和风格元素,如夸张的动作和较简单的纹理。
ToonCrafter还结合了细节注入和传播机制。它使用基于双参考的3D解码器来保持生成帧的视觉保真度。解码器分析并将输入帧的像素级细节注入新帧,确保与原始作品的一致性,防止视觉伪影。
此外,ToonCrafter提供基于草图的可控生成,允许动画师提供草图来指导中间帧的创建。此功能使艺术家对动画过程有更多控制,能够指定特定的姿势或动作,确保最终动画与他们的愿景一致。
3. 如何使用ComfyUI ToonCrafter

ComfyUI ToonCrafter节点:输入参数
ToonCrafter节点需要几个输入参数来确定插值过程的行为和输出。以下是每个参数的详细说明:
- image:第一个输入图像(类型:IMAGE)。
- image2:第二个输入图像(类型:IMAGE)。
- ckpt_name:要使用的检查点名称(类型:STRING,选项:可用检查点列表)。
- prompt:用于指导插值的文本描述(类型:STRING,支持多行和动态提示)。
- seed:随机数生成的种子值,以确保可重复性(类型:INT,默认值:123)。
- eta:该参数控制扩散过程中的噪声尺度。在扩散模型中,噪声逐步减少以生成最终图像或帧。调整eta值决定在此过程中每次迭代引入多少噪声。(类型:FLOAT,默认值:1.0,范围:0.0到15.0,步长:0.1)。
- cfg_scale:无分类器指导尺度(类型:FLOAT,默认值:7.5,范围:1.0到15.0,步长:0.5)。
- steps:扩散步骤的数量(类型:INT,默认值:50,范围:1到60,步长:1)。
- frame_count:要生成的帧数(类型:INT,默认值:10,范围:5到30,步长:1)。
- fps:输出视频的每秒帧数(类型:INT,默认值:8,范围:1到60,步长:1)。
ComfyUI ToonCrafter节点:输出参数
ToonCrafter节点的输出是一系列插值帧,可用于创建视频。以下是您可以期望的内容:
- IMAGE:插值视频的生成帧。这些帧作为张量返回,可以进一步处理或保存为视频文件。