ComfyUI > ワークフロー > Vid2Vid パート1 | 構成とマスキング

Vid2Vid パート1 | 構成とマスキング

ComfyUI Vid2Vidは、高品質でプロフェッショナルなアニメーションを作成するための2つの異なるワークフローを提供します: Vid2Vid パート1では、元のビデオの構成とマスキングに焦点を当てることで創造性を高め、Vid2Vid パート2では、SDXL Style Transferを利用してビデオのスタイルを希望する美的感覚に一致させます。このページでは特にVid2Vid パート1を取り上げます。

ComfyUI Vid2Vid ワークフロー

ComfyUI Vid2Vid Workflow | Composition and Masking

このワークフローを実行しますか？

完全に動作するワークフロー
欠落したノードやモデルはありません
手動セットアップは不要
魅力的なビジュアルを特徴としています

ComfyUI Vid2Vid 例

ComfyUI Vid2Vid 説明

ComfyUI Vid2Vid ワークフローは、によって作成され、高品質でプロフェッショナルなアニメーションを実現するために2つの異なるワークフローを紹介します。

最初のComfyUIワークフロー: ComfyUI Vid2Vid パート1 | 構成とマスキング
二つ目のワークフロー:

ComfyUI Vid2Vid パート1 | 構成とマスキング

このワークフローは、元のビデオの構成とマスキングに焦点を当てることで創造性を高めます。

ステップ1: モデルローダー | ComfyUI Vid2Vid ワークフローパート1

アニメーションに適したモデルを選択します。これには、チェックポイントモデル、VAE (Variational Autoencoder) モデル、およびLoRA (Low-Rank Adaptation) モデルの選択が含まれます。これらのモデルは、アニメーションの能力とスタイルを定義するために重要です。

ステップ2: ビデオローダー | ComfyUI Vid2Vid ワークフローパート1

Input Video ノードは、アニメーションに使用されるビデオファイルをインポートする役割を担います。このノードはビデオを読み取り、個々のフレームに変換し、その後のステップで処理されます。これにより、フレームごとの詳細な編集と強化が可能になります。

ステップ3: 背景を削除 (自動マスキング) | ComfyUI Vid2Vid ワークフローパート1

背景を削除 (自動マスキング) は、自動マスキング技術を使用して背景から被写体を分離します。これには、前景の被写体を背景から検出して分離するモデルが含まれ、バイナリマスクを作成します。このステップは、被写体を背景とは独立して操作できるようにするために重要です。

ステップ4: 特定のエリアをマスキング (手動マスクまたは自動マスク) | ComfyUI Vid2Vid ワークフローパート1

このステップでは、前のステップで作成されたマスクの精度を高めることができます。別のソフトウェアを使用して手動で特定のエリアをマスクするか、ComfyUIの 'Segment Anything' 自動マスク機能を利用することができます。

手動マスク: これは、正確な制御のためにComfyUI以外の他のソフトウェアで処理する必要があります。
自動マスク: 自動マスク機能を使用すると、プロンプトウィジェットで単純な言葉を使用してマスクしたい部分を記述できます。モデルは自動的にマスクを作成しますが、手動マスクほど正確ではない場合があります。

デフォルトでは手動マスクを使用します。自動マスクを試したい場合は、手動マスクグループをバイパスして自動マスクグループを有効にしてください。さらに、'GroundingDinoSAM' (自動マスク) のMASKを 'GrowMaskWithBlur' に接続し、'ImageToMask' (手動マスク) を 'GrowMaskWithBlur' に接続しないでください。

ステップ5: マスクを変換 | ComfyUI Vid2Vid ワークフローパート1

マスクを変換 は、マスクを画像に変換し、元のマスクにぼかしを追加するなどの追加調整を可能にします。これにより、エッジを柔らかくし、マスクが画像の他の部分と自然にブレンドされるようになります。

ステップ6: 入力プロンプト | ComfyUI Vid2Vid ワークフローパート1

アニメーションプロセスをガイドするためのテキストプロンプトを入力します。プロンプトは、被写体の望ましいスタイル、外観、または動作を記述できます。これはアニメーションの創造的な方向性を定義するために重要であり、最終的な出力が想像された芸術的スタイルに一致することを保証します。

ステップ7: AnimateDiff | ComfyUI Vid2Vid ワークフローパート1

AnimateDiff ノードは、連続するフレーム間の違いを識別し、これらの変更を段階的に適用することでスムーズなアニメーションを作成します。これにより、動きの一貫性を保ち、アニメーションの急激な変化を減少させ、より流動的で自然な外観を実現します。

ステップ8: IPAdapter | ComfyUI Vid2Vid ワークフローパート1

IPAdapter ノードは、入力画像を希望する出力スタイルや特徴に合わせて調整します。これには、カラー化やスタイル転送などのタスクが含まれ、アニメーションの各フレームが一貫した外観と感触を維持することを保証します。

ステップ9: ControlNet | ComfyUI Vid2Vid ワークフローパート1

ControlNet - v1.1 - Instruct Pix2Pix Version model を使用すると、追加の入力条件 (エッジマップ、セグメンテーションマップなど) を処理することにより、拡散モデルを強化します。これにより、これらの事前訓練されたモデルをタスク固有の条件で制御し、少ないデータセットでも強力な学習が可能になります。