ToonCrafter | 生成卡通插值

1. 什么是ToonCrafter？

ToonCrafter是一种先进的AI技术，使用预训练的图像到视频扩散先验在两张卡通图像之间进行插值。这使得ToonCrafter能够从两张不同的卡通图像生成插值视频，创建无缝的过渡。它支持高达16帧的视频生成，分辨率为512x320像素。

2. ToonCrafter如何工作？

ToonCrafter是一个AI工具，旨在使用先进的AI技术从静态卡通图像创建平滑动画。它采用潜在扩散模型（LDMs）将图像编码到压缩的潜在空间，在此过程中添加噪声，然后通过去噪过程逐步去除噪声。这种方法生成原始图像之间的中间帧，从而产生流畅的动画。

ToonCrafter的一个显著特点是它的Toon矫正学习。该过程使AI模型适应卡通动画的理解和生成，最初训练于真人视频。通过使用大量高质量卡通视频数据集对模型进行微调，ToonCrafter学习了卡通的独特运动和风格元素，如夸张的动作和较简单的纹理。

ToonCrafter还结合了细节注入和传播机制。它使用基于双参考的3D解码器来保持生成帧的视觉保真度。解码器分析并将输入帧的像素级细节注入新帧，确保与原始作品的一致性，防止视觉伪影。

此外，ToonCrafter提供基于草图的可控生成，允许动画师提供草图来指导中间帧的创建。此功能使艺术家对动画过程有更多控制，能够指定特定的姿势或动作，确保最终动画与他们的愿景一致。

3. 如何使用ComfyUI ToonCrafter

ComfyUI ToonCrafter节点：输入参数

ToonCrafter节点需要几个输入参数来确定插值过程的行为和输出。以下是每个参数的详细说明：

• image：第一个输入图像（类型：IMAGE）。
• image2：第二个输入图像（类型：IMAGE）。
• ckpt_name：要使用的检查点名称（类型：STRING，选项：可用检查点列表）。
• prompt：用于指导插值的文本描述（类型：STRING，支持多行和动态提示）。
• seed：随机数生成的种子值，以确保可重复性（类型：INT，默认值：123）。
• eta：该参数控制扩散过程中的噪声尺度。在扩散模型中，噪声逐步减少以生成最终图像或帧。调整eta值决定在此过程中每次迭代引入多少噪声。（类型：FLOAT，默认值：1.0，范围：0.0到15.0，步长：0.1）。
• cfg_scale：无分类器指导尺度（类型：FLOAT，默认值：7.5，范围：1.0到15.0，步长：0.5）。
• steps：扩散步骤的数量（类型：INT，默认值：50，范围：1到60，步长：1）。
• frame_count：要生成的帧数（类型：INT，默认值：10，范围：5到30，步长：1）。
• fps：输出视频的每秒帧数（类型：INT，默认值：8，范围：1到60，步长：1）。

ComfyUI ToonCrafter节点：输出参数

ToonCrafter节点的输出是一系列插值帧，可用于创建视频。以下是您可以期望的内容：

• IMAGE：插值视频的生成帧。这些帧作为张量返回，可以进一步处理或保存为视频文件。