LivePortrait | 초상화 애니메이션 | Vid2Vid

노드와 워크플로우 덕분에 ComfyUI에서 현실적인 LivePortrait 애니메이션을 만드는 것이 더 쉬워졌습니다. 다음은 그의 워크플로우의 주요 구성 요소와 매개변수에 대한 설명입니다.

먼저 설명을 읽어 워크플로우 단계를 이해하십시오. LivePortrait Img2Vid 프로세스를 숙지하면 LivePortrait Vid2Vid와 Img2Vid 워크플로우 간의 몇 가지 작은 차이점을 알 수 있습니다.

ComfyUI LivePortrait Vid2Vid와 Img2Vid의 차이점

1. 이미지를 대신하여 "VHS_LoadVideo"를 사용하여 비디오 로드

• 이 LivePortrait Img2Vid 워크플로우에서는 "LoadImage" 노드를 사용하여 소스로 정적 이미지를 로드합니다. 그러나 Vid2Vid 워크플로우에서는 소스로 비디오를 로드해야 합니다. "frame_load_cap"을 조정하여 로드되는 프레임 수를 제어하십시오.
• 더 나은 품질을 위해 소스 비디오를 1024x1024와 같은 높은 해상도로 리사이즈하십시오. "VHS_LoadVideo"로 소스 비디오를 로드한 후 "ImageResizeKJ" 노드를 사용하여 프레임을 1024x1024와 같은 해상도로 업스케일링하십시오. 이렇게 하면 최종 출력에서 선명도와 디테일이 유지됩니다. 비디오 작업 시에는 Img2Vid 워크플로우에 비해 소스에 높은 해상도를 사용하는 것이 좋습니다. 512x512는 정적 이미지에 종종 충분하지만, 비디오는 디테일과 품질을 유지하기 위해 높은 해상도가 유리합니다.
• 드라이빙 비디오 프레임은 480x480과 같은 낮은 해상도로 리사이즈하여 처리 시간을 절약할 수 있습니다. 이는 움직임 정보만 제공하기 때문입니다.

2. 더 부드러운 LivePortrait Vid2Vid 결과를 위해 "source_video_smoothed" 상대적 움직임 모드 사용

• "LivePortraitProcess" 노드에는 드라이빙 비디오에서 소스로 움직임이 전송되는 방식을 제어하는 "relative_motion_mode" 매개변수가 있습니다. Vid2Vid의 경우 "source_video_smoothed" 모드를 사용하는 것이 좋습니다.
• 이 모드에서는 입력 비디오를 기반으로 시간이 지남에 따라 LivePortrait 움직임이 부드럽게 처리되어 더 일관되고 안정적인 결과를 생성합니다. 이는 단일 이미지보다 비디오에서 갑작스런 점프나 흔들림이 더 눈에 띌 수 있기 때문에 특히 중요합니다.
• "relative" 또는 "single_frame"과 같은 다른 움직임 모드는 Img2Vid에 더 적합할 수 있지만, Vid2Vid에는 일반적으로 "source_video_smoothed"가 가장 좋은 선택입니다.

3. LivePortrait Vid2Vid의 오디오 동기화를 유지하기 위해 소스 비디오 FPS와 오디오를 "VHS_VideoCombine"에 연결

• "VHS_VideoCombine" 노드를 사용하여 최종 출력 비디오를 생성할 때 비디오 프레임과 오디오의 동기화를 유지하는 것이 중요합니다. 이것은 두 가지 주요 연결을 포함합니다:
• 첫째, "Reroute" 노드를 사용하여 소스 비디오의 오디오를 "VHS_VideoCombine"의 "audio" 입력에 연결하십시오. 이렇게 하면 원래 오디오가 출력 비디오에 사용됩니다.
• 둘째, 소스 비디오의 프레임 속도(FPS)를 "VHS_VideoCombine"의 "frame_rate" 입력에 연결하십시오. "VHS_VideoInfo" 노드를 사용하여 소스 비디오에서 메타데이터를 추출하여 FPS를 얻을 수 있습니다. 이렇게 하면 출력 비디오가 소스의 타이밍과 일치하게 됩니다.
• 오디오와 프레임 속도를 신중하게 처리하여 적절한 동기화와 타이밍을 유지하는 LivePortrait Vid2Vid 출력을 생성할 수 있습니다. 이는 현실적이고 시청 가능한 결과를 위해 중요합니다.