ComfyUI IPAdapter Plus（IPAdapter V2）を使いこなす詳細ガイド

こんにちは！このガイドでは、ComfyUI IPAdapter Plus（ComfyUI IPAdapter V2とも呼ばれます）の魅力的な機能を探っていきましょう。

IPAdapterモデルは、イメージ間の条件付けに非常に強力で、参照画像の主題やスタイルを新しい作品に簡単に転写できます。これは1枚の画像でできるLoRAのようなものです。

IPAdapter Plus（IPAdapter V2）の登場では、モデルの統合プロセスの合理化、ユーザビリティの向上、クリエイティブな可能性の拡大を目指した多くの新機能が提供されました。

ComfyUI IPAdapter Plus（IPAdapter V2）にアップグレードすると、ComfyUI IPAdapter V1ノードに依存している以前のワークフローが機能しなくなることに注意が必要です。その結果、ComfyUI IPAdapter Plusを使用してプロジェクトを再構築する必要があります。

このガイドでは以下の内容を取り上げます：

1. ComfyUI IPAdapter Plus - IPAdapter基本ノード

• 1.1. 最もシンプルなComfyUI IPAdapterワークフロー
• 1.2. ComfyUI "IPAdapter" ノードの入力
• 1.3. ComfyUI "IPAdapter" ノードのパラメータ
• 1.4. SD1.5とSDXLチェックポイントモデルでComfyUI IPAdapter Plusを使用する場合の違い

2. ComfyUI IPAdapter Plus - IPAdapter高度なノード

• 2.1. ComfyUI IPAdapter Advancedワークフロー
• 2.2. ComfyUI "IPAdapter Advanced" ノードの拡張パラメータ

3. ComfyUI IPAdapter Plus - FaceID

• 3.1. ComfyUI IPAdapter FaceIDワークフロー

4. ComfyUI IPAdapter Plus - Image Merge機能

• 4.1. 方法1: ComfyUI "Batch Image" ノードを使用する
• 4.2. 方法2: ComfyUI "IPAdapter Encoder" ノードで参照の重み付けを正確に制御する

5. ComfyUI IPAdapter Plus - 縦長画像用のIPAdapter Tile

• 5.1 ComfyUI IPAdapter Tileワークフロー

6. ComfyUI IPAdapter Plus - スタイルと構図

• 6.1. スタイル転送におけるComfyUI IPAdapter Plus
• 6.2. 構図を維持するためのComfyUI IPAdapter Plus
• 6.3. 構図とスタイル転送の維持におけるComfyUI IPAdapter Plus

🌟🌟🌟 ComfyUI Online - 今すぐIPAdapter Plusワークフローを体験 🌟🌟🌟

ComfyUI IPAdapter Plus（IPAdapter V2）ワークフローを探索したい方は、以下のComfyUI webをご利用ください。必要なカスタマーノードとモデルがすべて備わっているため、手動でのセットアップ不要でシームレスに創造活動が可能です。すぐに実践を始めることもできますし、このチュートリアルを続けてIPAdapter Plusの使い方を学ぶこともできます。

より高度でプレミアムなComfyUIワークフローは、私たちの 🌟ComfyUIワークフロー一覧🌟 をご覧ください

1. ComfyUI IPAdapter Plus - IPAdapter基本ノード

1.1. 最もシンプルなComfyUI IPAdapterワークフロー

1.2. ComfyUI "IPAdapter" ノードの入力

1.2.1. "IPAdapter" ノードの入力: モデルとIPAdapter

"IPAdapter" ノードの「モデル」と「IPAdapter」の入力は、"IPAdapter Unified Loader" ノードの出力に接続されています。ここでは、様々な要件に合わせて調整された、複数のIPAdapterモデルの中から選択することができます:

• Light - SD1.5のみ（低強度）: このモデルは最小限の調整に理想的で、SD1.5モデルとのみ互換性があります。
• Standard（中強度）: このモデルは中程度の強度の変更を達成し、幅広い用途に適しています。細かな変更と明確な変更のバランスが取れます。
• VIT-G（中強度）: Standardと同程度の中程度の調整を提供しつつ、VIT-Gモデルはより複雑かつ多様な画像データに特化しており、特定のシナリオでのパフォーマンスを向上させる可能性があります。
• PLUS（高強度）: 大幅な変更が必要な場合、PLUSモデルは強力な創造力を発揮し、大きな変更を可能にします。
• PLUS FACE（ポートレート）: ポートレートの強化に特化しており、PLUS FACEは顔の特徴の向上に重点を置いているため、ポートレート写真やアートワークに理想的です。
• Full FACE - SD1.5のみ（ポートレート、より強い）: PLUS FACEのより強力なバージョンで、Full FACEモデルはポートレートの大幅な変化を目的としていますが、SD1.5モデルとのみ互換性があります。

1.2.2. "IPAdapter" ノードの入力: Image

"IPAdapter" ノードの「Image」入力は、画像間の条件付けに使用される参照画像です。これは、"IPAdapter" ノードが定義されたパラメータとモデルの機能に基づいて参照画像を変換する部分です。このプロセスを通じて、参照画像の属性を継承し、IPAdapterモデルの創造力と融合させた新しい画像が生成されます。

1.2.3. "IPAdapter" ノードの入力: Attn Mask（注意マスク）

"Attn Mask" では、処理やモデルの注意を導くために焦点する画像の特定の領域を強調することができます。これにより、特定の画像の特徴を強調または保存しながら、モデルの注意を導くことができます。

1.3. ComfyUI "IPAdapter" ノードのパラメータ

1.3.1. "IPAdapter" ノードのパラメータ: Weight

"Weight" パラメータは、適用される変更の強度を調整します。値が高いほど、より明確な効果が得られます。一方、値が低いと、より細かな変化が得られます。

1.3.2. "IPAdapter" ノードのパラメータ: Start At & End At

"Start At" と "End At" のパラメータは、IPAdapterの効果が適用される開始ステップと終了ステップを指定し、処理の制御を可能にします。

1.3.3. "IPAdapter" ノードのパラメータ: Weight Type

処理段階を通じた重み付けのための "WeightType" は様々であり、それぞれが出力に異なる影響を与えます:

• Standard
• Prompt is more important
• Style Transfer (SDXL only)

1.4. SD1.5とSDXLチェックポイントモデルでComfyUI IPAdapter Plusを使用する場合の違い

SDXLモデルで作業する場合、IPAdapter Plusモデルはシームレスに統合され、SDXLモデルの特性に自動的に適応します。ただし、SDXLモデルの要件に合わせてラテントサイズを適切に調整することが重要です。

2. ComfyUI IPAdapter Plus - IPAdapter高度なノード

2.1. ComfyUI IPAdapter Advancedワークフロー

より網羅的な機能セットを提供するComfyUI IPAdapter Advancedノードは、"Image Negative"、"CLIP Vision"、"Combine Embeds" などのパラメータや、より多くの "Weight Type" オプションを通じて、画像生成プロセスを制御できるようになり、クリエイティブなビジョンに寄り添う画像に付けることができます。

2.2. ComfyUI "IPAdapter Advanced" ノードの拡張パラメータ

2.2.1. "IPAdapter Advanced" ノードの拡張パラメータ: Image Negative

"Image Negative" パラメータにより、最終的な画像に表示したくないものを定義することができます。ネガティブな例を指定することで、モデルは不要な要素から遠ざかり、より望ましい結果に向かうことができます。この機能は、特定のテーマ、オブジェクト、パターンを生成画像に含めないようにするのに役立ち、出力画像がユーザーの好みに合うようにします。

2.2.2. "IPAdapter Advanced" ノードの拡張パラメータ: CLIP Vision

"IPAdapter Advanced" ノードには、"CLIP Vision" 入力があります。これは、"Load CLIP Vision" ノードの出力に接続され、そこで異なる CLIP-ViT モデルを選択することができます。

• CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors: このモデルは、CLIP（Contrastive Language–Image Pre-training）ファミリーの一部であり、テキスト情報との関連で視覚コンテンツを理解および解釈することを目的として特別に設計されたものです。大規模なデータセット（laion2B）でトレーニングされており、モデルサイズは320億のパラメータ（s32B）で、コンテンツ生成のパフォーマンスと安全性のバランスを最適化するようになっています（b79Kは、特定のベンチマークまたはバージョンを示しています）。このモデルは、幅広い視覚認識タスクを処理するのに適しており、高品質で文脈的に正確な画像を生成するのに適しています。
• CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors: 対応するモデルと同様に、このモデルもlaion2Bデータセットでトレーニングされていますが、390億のパラメータというより大きなサイズを誇り、テキストと画像の間のより細かな関係を理解することができます。 "bigG" は、CLIP-ViTシリーズ内のより大きなまたは高度なバージョンを意味しており、"b160k" は、ベンチマークまたはバー\u30b8ョンを示しています。このモデルは、テキストの説明に寄り添う詳細で複雑な画像を作成することが得意で、高い微妙さと深い意味的理解を必要とするアプリケーションに適しています。

CLIP-ViT-H-14-laion2B-s32B-b79K.safetensorsとCLIP-ViT-bigG-14-laion2B-39B-b160k.safetensorsの主な違いは、後者のサイズが390億パラメータと大きく、前者の320億パラメータよりもより細かなテキストと画像の関係を解釈できることを示唆していることです。

2.2.3. "IPAdapter Advanced" ノードの拡張パラメータ: Weight Type

"IPAdapter" ノードと比較して、"IPAdapter Advanced" ノードでは「weight type」のオプションが増えており、それぞれが出力に異なる影響を与えます:

• Linear: 処理パイプラインの入力から出力まで、強度の変調なしに常に均等に重み付けを適用し、一責して影響を与えます。
• Ease In: 入力から徐々に重みを増加させ、パイプラインの進行に合わせて滑らかに効果を導入していきます。
• Ease Out: 強い影響から開始し、徐々に減衰していき、処理が終わる頃には効果をより積極的になくしていきます。
• Ease In-Out: "Ease In" と "Ease Out" の効果を組み合わせたもので、入力と出力では影響度が低く、中盤で最大の影響を与えます。
• Weak Input: 影響を処理チェーンの入力時点で特に弱め、入力要素があまり目立たないようにします。
• Weak Output: 処理チェーンの出力側で影響を弱め、画像の終わりの部分を柔らかく仕上げます。
• Weak Middle: 処理チェンの中盤で影響を最小化し、多くの場合、入力と出力の要素に隠されないよう明瞭さや焦点を維持します。
• Strong Middle: 処理チェンの中心部分で効果を強め、画像の中核要素への影響を強化します。
• Style Transfer (SDXL): SDXLモデル専用のオプションで、参照画像からターゲット画像へスタイルを適合させることに重点を置き、SDXLの機能を活用して細かなスタイル変換を行います。
• Composition (SDXL): SDXLモデル用に調整されており、参照画像とターゲット画像の構図要素を組み合わせることを目的とし、画像内の要素の配置や相互作用に重点を置いています。

2.2.4. "IPAdapter Advanced" ノードの拡張パラメータ: Combine Embeds

"Combine Embeds" 機能は、複数のソースからの入力を一つの一責した視覚出力に統合することを求める人にとって重要です。"Combine Embeds" を使用することで、幅広い芸術的な影響やインスピレーションを取り入れた画像を柔軟に作成することができ、本当に個性的で革新的な作品が生まれます。ConcatやAdd、Subtract、Average、Norm Averageなど、埋め込みを組み合わせるために提供されている方法は、これらの影響を融合するための多様なアプローチを提供しています。これらについては、セクション4「ComfyUI IPAdapter Image Merge機能」で詳しく探っていきます。

3. ComfyUI IPAdapter Plus - FaceID

前述の設定では、FaceIDモデルが含まれていないことに気付いたかもしれません。FaceIDモデルをワークフローに統合するには、"IPAdapter Unified Loader FaceID" ノードと "IPAdapter FaceID" ノードの2つの特定のノードが必要です。

3.1. ComfyUI IPAdapter FaceIDワークフロー

"IPAdapter Unified Loader FaceID" ノード内で作業する際、使用可能なモデルのドロップダウンメニューから最新の "Face ID Plus V2" を選択することができます。この操作により、Face ID Plus V2モデル固有の必要な依存関係をすべて自動的に収集し、準備するようローダーに指示します。

CPUをプロバイダとして選択します。高性能なGPUが使用可能である可能性があるにもかかわらず、Face IDモデルをCPUをプロバイダとして構成することをお勧めします。この推奨は、貴重なビデオメモリ（VRAM）を保存するという利点から来ており、プロジェクトのリソース割り当ての全体的な効率と有効性の最適化に役立つ戦略と証明されています。

4. ComfyUI IPAdapter Plus - Image Merge機能

複数の参照画像を使用して新しい画像を生成するにはどうすればよいでしょうか？ここでは、ComfyUIのIPAdapter Plusを使ってこれを実現する2つの方法を紹介します。これらの方法は、クリエイティブな画像生成に必要な柔軟性と制御性を提供します。

4.1. 方法 1: ComfyUI "Batch Image" ノードを使用する

"Batch Image" ノードを使用するには、まず統合する画像を選択します。これらの画像はノードに入力され、統一されたバッチを作成します。このバッチはその後、IPAdapterパイプラインに導入され、各画像を順次生成プロセスに適用します。

"IPAdapter Advanced" ノードは、複数の画像が生成に与える影響を制御する高度なオプションである "Combine Embeds" を導入しています。これらのオプション―Concat、Add、Subtract、Average、Norm Average―は、異なる画像からのエンベッディングをどのように統合するかを決定し、それぞれがユニークな結果を生み出します:

• Concat: このオプションは、各画像からのエンベッディングを連結し、事実上、すべての入力画像からの情報を保持し、単一の拡張された形式に組み合わせます。このアプローチは、各画像からの幅広い特徴のスペクトルを取り込むのに役立ちますが、処理される情報量が増えるため、複雑さが生じる可能性があります。
• Add: 画像のエンベッディングを加算する「Add」方式は、それらの影響を相乗的に結合し、画像全体で共通する特徴を強調します。これは、共有の特徴やテーマを強調するのに特に役立ち、より統一された一責性のある出力結果を得ることができます。
• Subtract: 加算とは逆に、"Subtract" 方式はエンベッディングを減算して差引きを求め、各画像のユニークな側面を強調します。このアプローチは、コントラストのクリエイティブな探索を可能にし、参照画像に存在する特定の要素を減らすために使用でき、芸術的表現の新しい道を開きます。
• Average: エンベッディングを平均化するこの方法は、画像の特徴をバランスよく結合し、どの単一の画像の影響も過度に支配的にならないようにします。この手法は、複数の画像を調和のとれた形で統合するのに理想的で、入力画像を均等に表現した一責性のある出力結果を得ることができます。
• Norm Average（正規化平均）: このオプションは、バッチ内での相対的な重みに基づいて各画像の影響を調整し、各参照画像が最終的な構図にどのように影響するかを正確に制御できるようにします。生成された画像の見た目を微調整して、最終的な結果がユーザーのビジョンに寄り添うようにすることができます。

下の画像では、異なる "Combine Embeds" を使用することで、異なる結果が得られます。

4.2. 方法2: ComfyUI "IPAdapter Encoder" ノードで参照の重み付けを正確に制御する

最終画像で参照画像がどのように重み付けされるかについて、より細かな制御を求める人のために、IPAdapterは「IPAdapter Encoder」ノードと「IPAdapter Combine Embeds」ノードを使用する解決策を提供しています。

4.2.1. "IPAdapter Encoder" ノードの使用

統合プロセスでの各画像は、IPAdapterエンコーダーノードを通して処理されます。これは画像をIPAdapterとの互換性のある形式にエンコードします。"IPAdapter Encoder" ノード内では、ユーザーは各画像に特定の重みを割り当てることができ、統合出力へのそれぞれの影響度を指定します。これらの重みを調整することで、構図における各画像の優勝度合いや微妙さを細かく制御できるようになります。

4.2.2. "IPAdapter Combine Embeds" ノードでの統合

画像をエンコードして重みを設定した後、"IPAdapter Combine Embeds" ノードがエンコードされた表現を統合します。これは、エンコーダーノードからのポジティブな埋め込みを組み合わせ、各画像が統合出力に与えるべき影響を反映させます。このバランスのとれた埋め込みは、その後の合成処理の準備が整います。

4.2.3. "IPAdapter" ノードへの接続

合成された埋め込みは、最終的にIPAdapterによって処理され、新しい画像が生成されます。ネガティブな埋め込みを接続するのはオプションですが、それを行うことを推奨します。これは、計算リソースを節約するためです。エンコーダーノードの2つのネガティブな埋め込みのうちどれかを選択してIPAdapterノードにリンクすることで、不要な計算を最小限に抑え、統合プロセスを合理化できます。

これらの方法に従うことで、複数の画像を効果的に統合して新しいクリエイティブな構図を生成することができ、ComfyUI IPAdapter Plusの機能を完全に活用することができます！

5. ComfyUI IPAdapter Plus - 縦長画像用のIPAdapter Tile

縦長画像を処理する際、ユニークな課題に直面することがあります。IPAdapterフレームワークの中核となるCLIP Visionエンコーダーは、本質的に正方形の画像を好みます。この優先順位により、縦長画像をIPAdapterノードに直接接続すると、画像の中央部分のみが出力に影響を与え、クロッピングの問題が発生する可能性があります。その結果、画像の上部と下部は無視され、生成されるコンテンツの全体的な品質に影響を与える可能性があります。

この問題に対処するために、"IPAdapter Tiled" ノードが特別な解決策を提供しています。このノードは、画像をより小さく管理可能なタイルに分割することで、縦長画像を直接接続することを可能にします。この方法により、参照画像のすべての部分が生成プロセスで考慮され、画像の一部が無視されるという問題が回避されます。

5.1 ComfyUI IPAdapter Tileワークフロー

"IPAdapter Tiled" ノードの追加機能として、タイルとマスクの出力があります。これは、画像の処理方法の視覚的表現を提供します。この機能は、使用される特定のタイルとそれらに対応するマスクを示し、生成プロセスの内部動作についての洞察を提供します。画像がどのように分割され、処理されるかを理解することで、目的の結果を得るために情報に基づいた調整を行うことができます。

さらに、"IPAdapter Tiled" ノードでは、マスクのカスタマイズ調整が可能で、画像の特定の部分を強調したり、集中したりする柔軟性を提供します。これらのマスクを調整することで、縦長画像内の特定の要素により多くの注意を向けることができ、結果の外観を強化するための制御を得ることができます。この機能は、画像内の特定の側面を強調または最小化するために非常に価値があり、生成されたコンテンツがユーザーのビジョンに正確に沿うようにします。

したがって、ComfyUI IPAdapter Plusへの "IPAdapter Tiled" ノードの組み込みは、縦長画像を含む画像間条件付けプロジェクトにおける処理能力を著しく向上させます。

6. ComfyUI IPAdapter Plus - スタイルと構図

ComfyUI IPAdapter Plusを使用して、参照画像のスタイルと構図を操作および組み合わせ、魅力的な新しいビジュアルを作成する方法について説明します。ComfyUI IPAdapter Plusは、アーティストやデザイナーが実験できる強力なツール群を提供しており、ある画像のスタイルを転送したり、別の画像の構図を維持したり、さらには異なる参照元からのスタイルと構図を一つの画像に統合したりすることができます。

6.1. スタイル転送におけるComfyUI IPAdapter Plus

ターゲットコンテンツに参照画像のスタイルを1枚のLoRAのように転送するには、ComfyUI IPAdapter Advancedノードを使用して以下の手順で行います:

"IPAdapter Advanced" ノードの設定: まず、"IPAdapter Advanced" ノードをワークフローに組み込みます。

ノードの設定: ComfyUI IPAdapter Advancedノードの設定内で、"Weight Type" オプションを見つけます。ドロップダウンメニューを使用して、"Style Transfer (SDXL)" を選択します。この設定により、アダプターは参照画像のビジュアルスタイルをターゲットに転送するように指示されます。

スタイル転送の "Weight" の調整: "weight" 設定は、スタイル転送の強度を決定します。この値を大きくすると、参照スタイルがターゲット画像に与える影響が強くなり、効果がより顕著になります。

6.2. 構図を維持するためのComfyUI IPAdapter Plus

新しい画像を生成する際に参照画像の構図を維持するには、ComfyUI IPAdapter Advancedノードを使用しますが、設定が異なります:

"IPAdapter Advanced" ノードの設定: 前と同様に、IPAdapter Advancedノードをワークフローに追加します。

ノードの設定: "Weight Type" ドロップダウンから "Composition (SDXL)" を選択します。これにより、アダプターは参照画像の構図要素を新しい生成物に維持するよう指示されます。

構図の "Weight" の調整: "weight" 設定を変更して、新しい画像が参照画像の構図にどれだけ密着するかを決定します。重みを高くすると、参照の構図がより厳密に適用されます。

6.3. 構図とスタイル転送の維持におけるComfyUI IPAdapter Plus

ある画像のスタイルと別の画像の構図の両方を転送する必要があるプロジェクトの場合、"IPAdapter style & composition SDXL" ノードが合理化されたソリューションを提供します:

"IPAdapter Style & Composition SDXL" ノードの選択: この専用ノードをプロジェクトに追加して、スタイルと構図の転送を同時に処理します。

スタイルと構図の参照を読み込む: "IPAdapter Style & Composition SDXL" ノードは、スタイルを転送する画像と構図を維持する画像の2つの入力を受け付けます。それぞれの参照画像を適切に読み込みます。

スタイルと構図の両方に対する "Weights" を設定する: "IPAdapter Style & Composition SDXL" ノードは、スタイルと構図に対して別々の重み設定を提供しています。これらのウェイトを調整して、各参照画像が最終画像に与える影響のバランスを整えます。スタイルまたは構図のウェイトを高く設定すると、生成される画像でその側面が優先されます。

これらの手順に従い、設定を試行錯誤することで、ComfyUI IPAdapter Plusを活用して視覚的に印象的な画像を作成できます。それは、ある芸術作品の特徴的なスタイルと別の作品の入念な構図とを融合させたものです。

🌟🌟🌟 ComfyUI Online - 今すぐIPAdapter Plusワークフローを体験 🌟🌟🌟

ComfyUI IPAdapter Plus（IPAdapter V2）ワークフローを探索したい方は、以下のComfyUI webをご利用ください。必要なカスタマーノードとモデルがすべて備わっているため、手動でのセットアップ不要でシームレスに創造活動が可能です！

より高度でプレミアムなComfyUIワークフローは、私たちの 🌟ComfyUIワークフロー一覧🌟 をご覧ください