产品重光视频工作流概述
此工作流允许您输入一个视频和一个或多个光掩码以生成重光视频。它支持三种场景:
- 移动主体与移动光掩码
- 静止主体与移动光掩码
- 移动主体与静止光掩码
虽然这个重光视频工作流是实验性的,可能不会产生完美的结果,但它代表了向非-AnimateDiff 管道迈出的重要一步,该管道在视频重光过程中优先考虑产品保真度而非完美的帧合并。
重光视频的输入和变量
要运行工作流并实现所需的视频重光效果,您必须提供以下输入和变量:
- Source Video: 要重光的输入视频
- Number of frames: 需要处理的总帧数
- Number of initial frames to skip: 从视频开始跳过的帧数
- Still or Moving Subject: 一个布尔开关,用于指示主体是静止还是移动的
- Size of the longer side (resize): 根据较长边调整帧大小的尺寸
- Two Light Masks: 初始和最终光掩码位置(用于移动光掩码)或相同的光掩码(用于静止光掩码)
- Light prompt: 描述所需照明的文本提示
- CFG: 1.05 到 3 之间的值,用于控制照明变化的强度(较高的值会导致更明显的变化,但也更容易产生伪影)
- Denoise: 0.3 到 0.6 之间的值,用于控制去噪强度(较高的值会减少闪烁,但可能使光掩码看起来更像滤镜)
视频重光工作流的工作原理
- 工作流使用 IC-Light 独立地重新照亮每一帧。
- 对于每一帧,基于主体帧和相应的光掩码帧的混合生成一个潜在变量。
- 潜在变量在低去噪值下生成,以将光掩码强制到最终输出上。
- 由于 IC-Light 在低去噪时可能会丢失细节,工作流结束时使用频率分离将细节和原始颜色传回,以在重光后保持视频质量。