感谢 节点和工作流程,现在在ComfyUI中创建逼真的LivePortrait动画变得更加容易。以下是其工作流程的关键组件和参数的详细说明。
请先阅读 描述以了解工作流程步骤。在熟悉LivePortrait Img2Vid流程后,您会注意到LivePortrait Vid2Vid和Img2Vid工作流程之间的一些小变化。
ComfyUI LivePortrait Vid2Vid和Img2Vid的区别
1. 使用"VHS_LoadVideo"加载视频而不是图像
- 在这个LivePortrait Img2Vid工作流程中,您使用"LoadImage"节点加载静态图像作为源。然而,在Vid2Vid工作流程中,您需要加载视频作为源。调整"frame_load_cap"以控制加载的帧数。
- 将源视频调整到更高分辨率,如1024x1024以获得更好的质量。在使用"VHS_LoadVideo"加载源视频后,使用"ImageResizeKJ"节点将帧放大到如1024x1024的分辨率。这将有助于在最终输出中保持清晰度和细节。在处理视频时,建议使用比Img2Vid工作流程更高的分辨率作为源。虽然512x512对于静态图像通常足够,但视频需要更高的分辨率以保持细节和质量。
- 驱动视频帧仍然可以调整到较低的分辨率,如480x480,以节省处理时间,因为它们只提供运动信息。
2. 使用"source_video_smoothed"相对运动模式以获得更平滑的LivePortrait Vid2Vid结果
- "LivePortraitProcess"节点有一个"relative_motion_mode"参数,控制如何将运动从驱动视频转移到源视频。对于Vid2Vid,推荐使用"source_video_smoothed"模式。
- 在这种模式下,LivePortrait运动基于输入视频随时间平滑,这有助于创建更具时间一致性和稳定性的结果。这在视频中特别重要,因为突然的跳跃或抖动在单张图像中可能不那么明显。
- 其他运动模式如"relative"或"single_frame"可能更适合Img2Vid,但"source_video_smoothed"通常是Vid2Vid的最佳选择。
3. 将源视频FPS和音频连接到"VHS_VideoCombine"以保持LivePortrait Vid2Vid的音频同步
- 在使用"VHS_VideoCombine"节点创建最终输出视频时,保持音频与视频帧的同步很重要。这涉及两个关键连接:
- 首先,使用"Reroute"节点将源视频的音频连接到"VHS_VideoCombine"的"audio"输入。这将确保原始音频在输出视频中使用。
- 其次,将源视频的帧率(FPS)连接到"VHS_VideoCombine"的"frame_rate"输入。您可以使用"VHS_VideoInfo"节点获取FPS,该节点从源视频中提取元数据。这将确保输出视频与源视频的时间匹配。
- 通过仔细处理音频和帧率,您可以创建一个保持适当同步和时序的LivePortrait Vid2Vid输出,这对于逼真和可观看的结果至关重要。