LivePortrait | ポートレートをアニメート | Vid2Vid

ノードとワークフローのおかげで、ComfyUIでリアルなLivePortraitアニメーションを作成することが簡単になりました。以下は彼のワークフローの主要なコンポーネントとパラメータの内訳です。

まず、ワークフローステップを理解するためにの説明をお読みください。LivePortrait Img2Vidプロセスに慣れた後、LivePortrait Vid2VidとImg2Vidワークフローの間にいくつかの小さな違いがあることに気付くでしょう。

ComfyUI LivePortrait Vid2VidとImg2Vidの違い

1. 画像の代わりに"VHS_LoadVideo"を使用してビデオを読み込む

• このLivePortrait Img2Vidワークフローでは、"LoadImage"ノードを使用してソースとして静止画像を読み込みますが、Vid2Vidワークフローでは代わりにソースとしてビデオを読み込む必要があります。"frame_load_cap"を調整して読み込むフレーム数を制御します。
• より高い解像度（例：1024x1024）にソースビデオをリサイズして、より良い品質を得る。"VHS_LoadVideo"でソースビデオを読み込んだ後、"ImageResizeKJ"ノードを使用してフレームを1024x1024のような解像度にアップスケールします。これにより、最終出力でのシャープさとディテールが維持されます。ビデオを扱う場合、Img2Vidワークフローに比べてソースの解像度を高くすることが推奨されます。静止画像には512x512でも十分ですが、ビデオはディテールと品質を保つために高解像度が有益です。
• ドライビングビデオのフレームは、処理時間を節約するために480x480のような低い解像度にリサイズできます。

2. より滑らかなLivePortrait Vid2Vid結果のために"source_video_smoothed"相対モーションモードを使用

• "LivePortraitProcess"ノードには、ドライビングビデオからソースへのモーションの転送方法を制御する"relative_motion_mode"パラメータがあります。Vid2Vidには、"source_video_smoothed"モードを使用することが推奨されます。
• このモードでは、入力ビデオに基づいてLivePortraitのモーションが時間をかけて滑らかにされ、より時間的に一貫性のある安定した結果が得られます。これは、単一の画像よりもビデオで突然のジャンプやジッターが目立ちやすいため、特に重要です。
• "relative"や"single_frame"のような他のモーションモードはImg2Vidに適しているかもしれませんが、Vid2Vidには通常"source_video_smoothed"が最適です。

3. LivePortrait Vid2Vidのオーディオ同期を維持するために"VHS_VideoCombine"にソースビデオのFPSとオーディオを接続

• "VHS_VideoCombine"ノードを使用して最終出力ビデオを作成する際、ビデオフレームとオーディオの同期を維持することが重要です。これには2つの主要な接続があります。
• まず、"Reroute"ノードを使用してソースビデオのオーディオを"VHS_VideoCombine"の"audio"入力に接続します。これにより、元のオーディオが出力ビデオで使用されます。
• 次に、ソースビデオのフレームレート（FPS）を"VHS_VideoCombine"の"frame_rate"入力に接続します。"VHS_VideoInfo"ノードを使用してFPSを取得し、ソースビデオからメタデータを抽出します。これにより、出力ビデオがソースのタイミングに一致します。
• オーディオとフレームレートを慎重に処理することで、適切な同期とタイミングを維持するLivePortrait Vid2Vid出力を作成でき、リアルで見やすい結果が得られます。