ComfyUI ReactorによるVideo Face Swappingガイド
Updated: 5/15/2024
AIアニメーション愛好家の皆さん、こんにちは！ComfyUI face swappingの世界への刺激的な旅に出発します。ここで、ComfyUI Reactorワークフローを紹介します。これにより、ビデオ内の1つの顔または複数の顔をスワップできます！
以下の内容を説明します。
- Roop vs Reactor
- ComfyUI Reactorとは？
- ComfyUIでReactorを使用する方法
- 画像の設定
- Face Swapモデル
- 顔検出
- Face Restore
- Face Restore VisibilityとCodeFormer Weight (忠実度)
- 性別の検出
- ビデオでの単一または複数の顔スワップのためのFace Indexの導入
- 必要に応じてSmart Frame Interpolation
- 必要に応じてリサイズと調整
1. Roop vs Reactor
皆さんの中には、このようなクリエイティブな実験のためにAutomatic 1111のRoop拡張機能を使用したことがある人もいると思いますが、Roopのコードは開発が中止されています。モーションデザイナーやアニメーターは、ComfyUIの新しいface swappingチャンピオンであるReActorを積極的に採用しています。このツールは、Roopからのアップグレードではなく、完全な革命です。ReActorは、face swappingをクリエイティブなツールキットのシームレスでエキサイティングな部分に変えました。
では、なぜReActorがface swappingの新しい定番になったのでしょうか？その理由は以下の通りです。
- アップスケールによる高解像度のFace Swap：ぼやけた画像とはおさらばし、クリスタルクリアでシャープなビジュアルにこんにちは。
- CPU対応：ハイエンドのGPUは不要で、より多くのユーザーがアクセス可能。
- 汎用性：SDXLおよび1.5モデルで完璧に動作 - まるでface swappingのためのユニバーサルリモコンのようです！
- スマート検出：自動の性別と年齢検出により、ビデオ内の人物を正確に識別。
- 無制限の創造性：NSFWフィルターがないため、創造性を存分に発揮できます。
- 継続的な改善：ReActorは、熟成するファインワインのように、どんどんスマートで優れたものになっていきます。
さて、ReActorについて話すだけでなく、ComfyUIでReactorを使用する方法とReactorでパラメーターを設定する方法について詳しく見ていきましょう！ReActorを使えば、創造の可能性は無限大です。
2. ComfyUI Reactorとは？
ComfyUI Reactorは、ComfyUI用の高速でシンプルなface swap拡張ノードです。複数のモデルを活用して、顔検出、face swapping、face restorationを容易にしながら、使いやすさを維持しています。
3. ComfyUIでReactorを使用する方法
さて、ワークフローを作成するエキサイティングなプロセスに飛び込みましょう。Reactorを使えば、アニメーションに驚くべきface swapエフェクトを加えることができます。
3.1 画像の設定
まず最初に、「ソース画像」を選択する必要があります - これは顔のドナーだと考えてください。次に、「入力画像」を選択します - これは新しい顔の幸運な受信者です。
3.2 Face Swapモデル
私たちはすでにinswapper_128.onnxモデルをダウンロードしています。これは、InsightFaceが提供する事前トレーニング済みモデルです。
3.3 顔検出
顔検出は、ソース画像と入力画像の両方で顔を見つけるデジタル探偵のようなものです。resnet50、mobile0.25、YOLOv5l、YOLOv5nなど、さまざまな探偵がいます。しかし、私たちのお気に入りはretinaface_resnet50です。その性能は良好です。
3.4 Face Restore
ここでは、face restoration用のモデルを選択できます。GF PGNを好む人もいますが、Code Forerも試してみてください - これも優れています！
3.5 Face Restore VisibilityとCodeFormer Weight (忠実度)
これらの設定は、ギターをチューニングするようなものです。デフォルトの設定は、可視性が1.00、CodeFormer weightが0.75ですが、ためらわずに試してみて、どんな調整ができるか確認してください。
3.6 性別を検出しますか？おそらくしない方がよい
「性別検出」オプションは、モデルに画像内の性別を判断させるかどうかを決定します。ReActorは、指定された条件を満たす場合にのみ顔をスワップします。私の経験では、「いいえ」に設定すると良い結果が得られます。モデルに「顔にだけ集中してね、モデルちゃん！」と言っているようなものかもしれません。
3.7 Face Indexの導入
Face Indexは、システムが画像内の各顔を識別するのに役立ちます。顔は、それぞれの画像で左から右、上から下にタグ付けされます。これにより、システムは誰が誰であるかを正確に把握できます。
3.7.1 単一の顔スワップの設定
スワップする顔が1つだけですか？簡単です！ソース顔と入力顔の両方のインデックスは0になります。
3.7.2 複数の顔の設定
さて、意欲的に複数の顔をスワップしたい場合は、次のように行います。
別々の画像で複数の顔をスワップする
- アニメーションの左側のキャラクターを扱う場合、ソースと入力の両方のFace Indexを0に設定します。これは、Reactorに「入力画像の左のキャラクターを置き換えるためにソース画像を使用する」ように指示します。
- 右側に位置するキャラクターの場合、ソースインデックスを0に、入力Face Indexを1に調整します。これは、Reactorに「入力画像の右のキャラクターを置き換えるためにソース画像を使用する」ように指示します。
- 各キャラクターが別々の画像にある場合は、Reactorノードを2セット用意する必要があることに注意してください。
1つの画像で複数の顔をスワップする
- 2人のキャラクターがいる画像がある場合、Reactorノードは1つで十分です。
- ここからが面白いところです。顔を組み合わせることができます。たとえば、入力画像の2番目の顔（インデックス=1）をソース画像の1番目の顔（インデックス=0）とスワップし、入力画像の1番目の顔（インデックス=0）をソース画像の2番目の顔（インデックス=1）とスワップしたい場合、インデックスを次のように設定するだけです：ソース - 0,1; 入力 - 1,0。
4. 必要に応じてSmart Frame Interpolation
ここで便利なヒントがあります - フレーム補間器の使用を検討してください。これは、ビデオフレームのタイムマシンのようなものです。最初に処理する必要のあるフレーム数を減らし、後でそれらを見事に再構築することで素晴らしい効果を発揮します。これは、処理速度を上げるためにビデオの品質を妥協しなければならなかった場合に特に役立ちます。このステップは、失われた明瞭さと詳細の一部を取り戻すのに役立つ魔法の杖のようなものだと考えてください。
5. 必要に応じてリサイズと調整
ビデオ画像を補間器に渡す前にリサイズすることもできます。元のファイルの品質を達成するのは難しいですが、何もないよりは確実に良いでしょう。
著者：RunComfy編集チーム
私たちの編集チームは、RNN/CNNの時代のNLP/Visionから始めて、15年以上にわたってAIに取り組んできました。BERT/GAN/Transformerなど、AIチャットボット/アート/アニメーションに関する膨大な経験を蓄積してきました。AIアート、アニメーション、ビデオでサポートが必要な場合は、ぜひお問い合わせください。