IC-Light | 视频重新打光 | AnimateDiff

ComfyUI IC-Light 工作流用于视频重新打光

使用 ComfyUI IC-Light 工作流，充分发挥您的视频项目潜力，该工作流专为使用光照图增强 "Human" 人物视频的光照而设计。通过 ComfyUI IC-Light，您只需提供提示词和光照图元素（如形状和霓虹灯），就能轻松转换您的视频，生成光照显著改善的新视频。

如何使用 ComfyUI IC-Light 工作流

1. 上传源视频：首先上传您想要增强的视频。
2. 上传光照图视频或单张光照图图像：选择一个光照图视频或单张图像作为新的光照模板。
3. 输入 Load Cap 和其他设置，光照图视频中应使用相同设置。
4. 输入描述新光照设置的提示词，如阳光或霓虹灯。
5. 选择您的模型。推荐使用逼真的模型。
6. 如有需要，调整光照图合成和其他设置。
7. 点击渲染。

输出将保存在 ComfyUI > Outputs 文件夹中。

输入_1 - 设置

这里有 5 个设置：

• 采样步骤：确定 KSampler 渲染图像的总步骤数。默认值为 26，不应更改。
• 细节增强器：增加最终渲染中的细微细节。使用值在 0.1 到 1 之间。
• 随机种子：控制每个 KSamplers 的生成种子。
• 采样 CFG：控制 KSamplers 的 CFG 值。
• 精细放大：类似于高分辨率修复值。最佳使用值在 1.1 到 1.6 之间。

提示词

• 正面提示词：输入最能描述新光照图像的提示词。
• 负面提示词：配置为获得最佳效果。可以自由编辑。
• Clip 文本编码节点：帮助编码文本以最大化质量。保持在 "full"。

模型和 Loras

• 检查点：选择任何 realistic SD 1.5 模型以获得准确结果。可以选择任何 SD 1.5 模型以获得风格化结果。
• Loras：[可选] 如果需要，可以从给定列表中选择任何 loras。不要全强度使用。最佳效果为 0.5-0.7。

输入源视频

• 上传源视频：点击上传您想要改变光照的人物视频。
  • 应小于 100 MB，大文件会上传失败。
  • 时长应不超过 15-20 秒，较长视频可能渲染失败。
  • 分辨率应为 720p 或更低。
  • 如果需要跳过一些起始帧，可以使用跳帧节点。[光照图视频也会跳过这些帧]
• 图像尺寸限制器：在这里设置渲染分辨率，无论是横向还是纵向，最大分辨率总是小于或等于设定值。
  • 最佳使用值在 800 到 1200 之间。[这将影响 Vram]

重要：使用 10 的帧加载上限进行测试

• 如果您有 24 GB，使用 1000 到 1200 的尺寸约 200 - 300 帧。
• 如果要渲染所有帧，使用 0。[不推荐用于较长视频]

遮罩和深度设置

• 遮罩：使用 Robust Video Matting，默认设置即可。
• 深度 ControlNet：使用最新的 DepthAnything v2 模型。
  • 强度和结束百分比设置为 75% 以获得最佳效果。
  • 使用 Co 以获得最佳效果。

光照图

• 上传光照图：点击上传您想要的光照图视频。
  • 它会自动缩放到源视频的尺寸。
  • 确保其长度等于或大于源视频的尺寸，否则会出错。
• 光照图 ControlNet：此光照图还用作光照控制网，使用
• CN 强度和结束百分比：这里使用低值，较高的值可能导致过度曝光或光线过渡过于锐利。

单张光照图

• 要使用单张图像作为光照图，取消静音这些节点并将重路由节点连接到 “Pick one Input” 节点。

AnimateDIff

• 加载 Animatediff 模型：您可以使用任何模型以获得不同效果。
• Animatediff 其他节点：您需要一些 Animatediff 的知识来更改其他设置
• 设置 SMZ：这是一个用于提高模型管道质量的节点，所有设置都已预定义以良好工作。

光照图和 IC 调节的合成

• 上述顶部调整节点（灰色）用于控制 IC-Light 调节的对比度和亮度。
• 生成新背景：禁用时，它会使用原始图像输入并尝试根据正面提示框中的 "Background Prompts" 映射与源视频背景类似的细节。

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• 启用生成新背景时：它将根据深度生成新背景。

[1girl, sunlight, sunset, nature in the background, sky]

同时，减少深度 ControlNet 的强度和结束百分比至 45% 以在背景中有一个开放区域。

• 光照图在顶部：当为真时，光照图将在源视频上方，更为显眼。当为假时，源视频在上方，更显眼且更亮。
• 受影响区域：两种混合模式效果最佳。
  • 乘法：根据光照图在顶部或底部，变暗阴影区域。
  • 屏幕：根据光照图在顶部或底部，变亮阴影区域。
  • 混合因子决定强度。

• 整体调整：这将控制最终处理光照图的亮度、对比度、伽玛和色调。
• 图像重映射：使用此节点控制整个图像的全局亮度和暗度。
  • 较高的最小值将使场景变亮。
  • 较低的最大值将使场景变暗，并且可以将较亮的区域转换为类似 QrCode 怪物 CN 的变形对象。
  • 通常将最小值设置为 0.1 或 0.2 以稍微点亮场景。
  • 最小值为 0 时，光照图的黑色像素将有全黑阴影。

KSamplers（原始和精炼）

IC 原始 Ksampler：与其他采样器不同，它从第 8 步开始而不是零步，因为 IC-Light 条件（帧从第 8 步开始去噪）。

• 例如，结束步骤为 20。
• 开始步骤在
  • 0 将没有光照图效果。
  • 5 将有 50% 的效果。
  • 10 将有 100% 的效果。
  • 因此，3-8 是一个不错的测试值。

当生成新背景为真时，可以低于 5 以获得更好效果。

• Ksampler 精炼：它像 Img2Img 精炼器一样在 IC 原始采样器之后工作。

对于结束步骤为 25

• 开始步骤在
  • 10 及以下将像原始采样器一样工作，并会产生变形对象。
  • 15 将像一个适当的精炼器一样工作。
  • 20 将无法正常工作。
  • 20 以上将产生混乱的结果。
  • 因此，默认 16 是不错的选择。

面部修复

• 面部修复放大：如果面部修复后效果不满意，可以放大到 1.2 到 1.6 以获得更好的面部效果。
• 正面提示词：在这里可以写面部的提示词。默认设置为 "smiling"。可以更改。
• 面部去噪：使用约 0.35 到 0.45。较高的值可能导致面部渲染不正确，并且可能出现滑动面部问题。

保存

• 视频合并：这将以视频格式导出所有帧。如果此节点在合并时失败，说明帧数过多且内存不足。如果发生这种情况，请减少帧加载上限。
  • 默认保存到 ComfyUI > Outputs 文件夹中。
• 更改输出路径：如果要保存到自定义位置，请取消静音此节点。

关于此工作流的作者

Jerry Davos

• YouTube 频道: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

联系方式

• Email: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ