Epic CineFX | CogVideoX、ControlNet、および Live Portrait ワークフロー

ComfyUI CogVideoX ワークフローとは

ComfyUI CogVideoX インテグレーションワークフローを使用して、シンプルなビデオ映像を壮大な映画のシーンに変換します。このワークフローは、CogVideoX、ControlNet、および Live Portrait の力を活用して、高価な機材を必要とせずにプロフェッショナルなビジュアルを提供します。独立系映画製作者や AI 駆動のビデオ制作を探求するクリエイターに向けて、このツールは創造的な限界を押し広げる力を与えます。

CogVideoX ワークフローの主な機能

• CogVideoX: AI 駆動の精度で詳細な映画シーンを生成します。
• ControlNet インテグレーション: ポーズ、エッジ、および深度のガイダンスを追加し、変換プロセスに比類のない制御を提供します。
• Live Portrait: 演技のパフォーマンスを洗練し、顔のディテールの一貫性を維持します。
• 比較出力: 生成された結果を元の映像と並べて分析し、洗練および共有に役立てます。

CogVideoX ワークフローの使用方法

1. CogVideoX ワークフローの主要コンポーネント

CogVideoX ワークフローは、例外的な映画の結果を提供するために設計された二つの主要コンポーネントを特徴としています:

1. CogVideoX を使用したビデオ生成:
   • このステージでは、ビデオフレームを処理し、ControlNet ガイダンスを統合して、プロフェッショナルな品質のビジュアルを保証する正確なポーズ、エッジ、および深度の整合性を確保します。
2. CogVideoX における Live Portrait インテグレーション:
   • 演技のパフォーマンスを洗練し、詳細な表情を必要とするシーンに最適な顔のディテールの一貫性を維持します。
   

CogVideoX ワークフローを効率的に使用するためのヒント

• デフォルトの推奨:
  • ビデオ生成ステップから始めて、処理時間とリソースを最適化します。これは、ほとんどの映画的変換において理想的です。
• Live Portrait を使用する場合:
  • 初期のビデオ生成中に演技のディテールや顔の表情が正確に転送されない場合に、このコンポーネントを有効にします。最終出力が自然で一貫した外観を維持することを保証します。

2. CogVideoX ワークフローを実行する

1. ビデオを読み込む:
   • Load Video ノードを使用して映像をアップロードします。
   • 処理するフレーム数を設定します:
     • デフォルト: 48 フレーム (CogVideoX でトレーニング済み)。
     • 適切な GPU 能力があれば、より高いフレーム数 (例: 64) も可能です。
     
2. 解像度を調整する:
   • Resize Image ノードでビデオの解像度を設定します。
   • 推奨: Width: 768, Height: 432。
   
3. ControlNet の設定:
   • Switch Node を使用して、希望するガイダンスモードを選択します:
     • Input1: 画像から画像への変換用の元のビデオ。
     • Input2(Pose): キャラクターの動きとダイナミックなポーズをキャプチャするのに最適です。
     • Input3(Canny): エッジ検出を通じてシーンの構造を維持するのに理想的です。
     • Input4(Depth): 特に複雑な背景において空間的一貫性を提供します。
   • ControlNet の強度を調整して、入力の忠実度と創造的な自由をバランスさせます。
   
4. プロンプトを書く:

   • ポジティブプロンプトとネガティブプロンプトを使用して、シーンの美学を定義します。

   • ポジティブプロンプトの例:

     神秘的な森、光る木々、シネマティックスタイル、非常に詳細。

   

3. CogVideoX ワークフローによるビデオ処理

1. ビデオ生成を実行する:
   • 処理時間を節約するために、最初に Live Portrait を無効にします。
   • プロンプトをキューに入れて処理を開始します。
   
2. Live Portrait を有効にする (オプション):
   • Live Portrait を使用して、顔のディテールと演技のパフォーマンスを洗練します。
   • プロンプトに特定の表情 (例: "明るく微笑んでいる") を追加して結果を改善します。

4. CogVideoX ワークフローによるビデオの比較

• 組み込みの比較出力を有効にして、元のビデオと生成されたビデオの違いを評価します。
• この機能を使用して結果を紹介したり、ソーシャルプラットフォームで共有したりします。

CogVideoX ワークフローの高度なヒント

• フレーム最適化:
  • 長いビデオの場合、処理時間を短縮しながら欠落フレームを補間するために "Every nth Frame" を使用します。
• クリエイティブプロンプト:
  • 多様なプロンプトを試して、ユニークなビジュアルスタイルを追求します。
• ControlNet の微調整:
  • ControlNet の強度を調整して、より創造的な自由を得るか、入力ビデオへの厳密な準拠を選びます。
  

CogVideoX ワークフローの例を使用したユースケース

1. 誰かが歩いている裏庭のビデオを読み込みます。

2. 次のプロンプトを適用します:

   裏庭を未来的な都市景観に変換し、ネオンライトが光る、シネマティックスタイル。

3. 空間的一貫性のために ControlNet (Depth) を使用します。

4. ビデオを処理し、必要に応じて Live Portrait で演技のパフォーマンスを洗練します。

5. 変換を紹介するために比較機能を使用します。

CogVideoX ワークフローのクレジット

この素晴らしいワークフローは、Mickmumpitz の創造性と技術的な専門知識によって可能になりました。すべてのクレジットは Mickmumpitz に帰属します！ 詳細なチュートリアルについては、彼の YouTube チャンネルをご覧ください: 。