掌握 ComfyUI IPAdapter Plus (IPAdapter V2) 的详细指南

欢迎！在本指南中，让我们探索 ComfyUI IPAdapter Plus 的激动人心的特性，也称为 ComfyUI IPAdapter V2。

IPAdapter 模型非常适合用于图像到图像的条件生成，可以轻松地将参考图像的主体或风格迁移到新的创作中。可以将其视为单图 LoRA。

IPAdapter Plus (IPAdapter V2) 的推出带来了大量新功能，旨在简化模型集成过程，提高可用性，并扩展创作可能性。

请注意，升级到 ComfyUI IPAdapter Plus (IPAdapter V2) 将导致依赖 ComfyUI IPAdapter V1 节点的之前工作流出现故障。因此，您需要使用 ComfyUI IPAdapter Plus 重建项目。

我们将介绍：

1. ComfyUI IPAdapter Plus - IPAdapter Basic 节点

• 1.1. 最简单的 ComfyUI IPAdapter 工作流
• 1.2. ComfyUI "IPAdapter" 节点的输入
• 1.3. ComfyUI "IPAdapter" 节点中的参数
• 1.4. 在 SD1.5 和 SDXL 检查点模型中使用 ComfyUI IPAdapter Plus 的差异

2. ComfyUI IPAdapter Plus - IPAdapter Advanced 节点

• 2.1. ComfyUI IPAdapter Advanced 工作流
• 2.2. ComfyUI "IPAdapter Advanced" 节点中的扩展参数

3. ComfyUI IPAdapter Plus - FaceID

• 3.1. ComfyUI IPAdapter FaceID 工作流

4. ComfyUI IPAdapter Plus - 图像合并功能

• 4.1. 方法 1：利用 ComfyUI "Batch Image" 节点
• 4.2. 方法 2：使用 ComfyUI "IPAdapter Encoder" 节点精确控制参考权重

5. ComfyUI IPAdapter Plus - 用于高图像的 IPAdapter Tile

• 5.1 ComfyUI IPAdapter Tile 工作流

6. ComfyUI IPAdapter Plus - 风格和构图

• 6.1. 用于风格迁移的 ComfyUI IPAdapter Plus
• 6.2. 用于保持构图的 ComfyUI IPAdapter Plus
• 6.3. 用于保持构图和风格迁移的 ComfyUI IPAdapter Plus

🌟🌟🌟 ComfyUI 在线 - 立即体验 IPAdapter Plus 工作流 🌟🌟🌟

如果您有兴趣探索 ComfyUI IPAdapter Plus (IPAdapter V2) 工作流，请使用以下 ComfyUI 网页。它配备了所有必要的自定义节点和模型，无需手动设置即可实现无缝创作。立即开始获得实践经验，或继续本教程以了解如何有效使用 IPAdapter Plus。

更多高级和精选的 ComfyUI 工作流，请访问我们的 🌟ComfyUI 工作流列表🌟

1. ComfyUI IPAdapter Plus - IPAdapter Basic 节点

1.1. 最简单的 ComfyUI IPAdapter 工作流

1.2. ComfyUI "IPAdapter" 节点的输入

1.2.1. "IPAdapter" 节点的输入：模型和IPAdapter

"IPAdapter" 节点的 "Model" 和 "IPAdapter" 输入连接到 "IPAdapter Unified Loader" 节点的输出。在这里，您可以从各种 IPAdapter 模型中选择，每个模型都针对不同的要求进行了定制：

• Light - 仅 SD1.5（低强度）：此模型非常适合进行最小调整，并且仅与 SD1.5 模型兼容。
• Standard（中等强度）：此模型可实现中等强度的修改，适用于广泛的应用程序，在细微和明显的更改之间取得平衡。
• VIT-G（中等强度）：虽然与 Standard 提供相似的中等调整，但 VIT-G 模型针对更复杂或多样化的图像数据进行了定制，可能在特定情况下提升性能。
• PLUS（高强度）：对于需要大幅修改的用户，PLUS 模型提供强大的创作能力，可实现显著的更改。
• PLUS FACE（人像）：PLUS FACE 专为增强人像而设计，专注于改善面部特征，非常适合人像摄影和艺术创作。
• Full FACE - 仅 SD1.5（更强的人像）：Full FACE 模型是 PLUS FACE 的更强版本，专为人像的显著变换而设计，但仅与 SD1.5 模型兼容。

1.2.2. "IPAdapter" 节点的输入：图像

"IPAdapter" 节点的 "Image" 输入是用于图像到图像条件生成的参考图像。这是 "IPAdapter" 节点应用其变换能力的地方，根据定义的参数和模型的功能改变参考图像。通过此过程，生成新图像，继承参考图像的属性并将其与 IPAdapter 模型的创意潜力相结合。

1.2.3. "IPAdapter" 节点的输入：Attn Mask（注意力掩码）

使用 "Attn Mask"，您可以突出显示特定的图像区域以进行重点处理或引导模型的注意力，增强或保留某些图像特征，同时引导模型的关注点。

1.3. ComfyUI "IPAdapter" 节点中的参数

1.3.1. "IPAdapter" 节点中的参数：权重

"Weight" 参数调整应用修改的强度；值越高，效果越明显，而值越低，变化越微妙。

1.3.2. "IPAdapter" 节点中的参数：起始步数和结束步数

"Start At" 和 "End At" 参数决定应用 IPAdapter 效果的初始和最终步骤，控制处理过程。

1.3.3. "IPAdapter" 节点中的参数：权重类型

应用权重通过处理阶段的 "Weight Type" 各不相同，每种类型都以独特的方式影响输出：

• Standard
• Prompt is more important
• Style Transfer (SDXL only)

1.4. 在 SD1.5 和 SDXL 检查点模型中使用 ComfyUI IPAdapter Plus 的差异

使用 SDXL 模型时，IPAdapter Plus 模型可无缝集成并自动适应 SDXL 模型的特性。但是，必须适当调整潜在大小以符合 SDXL 模型的要求。

2. ComfyUI IPAdapter Plus - IPAdapter Advanced 节点

2.1. ComfyUI IPAdapter Advanced 工作流

通过 "Image Negative"、"CLIP Vision"、"Combine Embeds" 等参数和更多的 "Weight Type" 选项，ComfyUI IPAdapter Advanced 节点提供了更全面的功能集，增强了对生成过程的控制，使图像更接近您的创作愿景。

2.2. ComfyUI "IPAdapter Advanced" 节点中的扩展参数

2.2.1. "IPAdapter Advanced" 节点中的扩展参数：Image Negative

"Image Negative" 参数使您能够定义不希望出现在最终图像中的内容。通过指定反面例子，引导模型远离不需要的元素，朝向更理想的结果。此功能对于避免生成的图像中出现特定主题、对象或模式至关重要，确保输出符合您的偏好。

2.2.2. "IPAdapter Advanced" 节点中的扩展参数：CLIP Vision

在 "IPAdapter Advanced" 节点中，您会找到 "CLIP Vision" 输入。它连接到 "Load CLIP Vision" 节点的输出，在那里您可以从不同的 CLIP-ViT 模型中进行选择。

• CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors：这个模型变体属于 CLIP（对比语言-图像预训练）系列，专门用于理解和解释与文本信息相关的视觉内容。它在大型数据集（laion2B）上进行了训练，模型大小为 320 亿个参数（s32B），并经过优化以在内容生成中平衡性能和安全性（b79K 表示特定的基准或版本）。该模型擅长处理广泛的视觉识别任务，适用于生成高质量、上下文准确的图像。
• CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors：与其对应的模型类似，这个模型也在 laion2B 数据集上进行了训练，但拥有更大的 390 亿个参数，使其能够理解文本和图像之间更细微的关系。"bigG" 可能表示 CLIP-ViT 系列中更大或更先进的版本，"b160k" 表示其基准或版本。该模型擅长创建与文本描述紧密对齐的细节丰富、复杂的图像，适用于需要高保真度和深入语义理解的应用。

CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 和 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors 的主要区别在于它们的大小和潜在的复杂性处理能力，后者拥有 390 亿个参数，比前者的 320 亿个参数更大，表明它可以解释比前者更细微的文本-图像关系。

2.2.3. "IPAdapter Advanced" 节点中的扩展参数：Weight Type

与 "IPAdapter" 节点相比，"IPAdapter Advanced" 节点提供了更多 "weight type" 选项，每种类型都以独特的方式影响输出：

• Linear：从开始到处理管道的结尾均匀应用权重，确保在整个过程中保持一致的影响，而不会调整强度。
• Ease In：从开始处逐渐增加权重，在处理管道中平滑引入效果。
• Ease Out：从强影响开始，逐渐减弱，有效地在处理结束时逐渐减弱效果。
• Ease In-Out：结合了 "Ease In" 和 "Ease Out" 效果；开始和结束时影响较小，在中间达到最大影响。- Weak Input：专门减弱处理链开始时效果的影响，使初始元素不太明显。
• Weak Output：减弱处理链结束时的影响，软化图像的结束方面。
• Weak Middle：最小化处理链中间效果的影响，通常是为了保持开始和结束方面的清晰度或重点。
• Strong Middle：放大处理链中心部分的效果，强化对图像核心元素的影响。
• Style Transfer (SDXL)：专为 SDXL 模型设计，此选项专注于将参考图像的风格适配到目标图像，利用 SDXL 的能力进行细微的风格转换。
• Composition (SDXL)：为 SDXL 模型量身定制，旨在合并参考图像和目标图像的构图元素，强调元素在空间中的排列和交互。

2.2.4. "IPAdapter Advanced" 节点中的扩展参数：Combine Embeds

对于那些希望将来自多个源的输入合并到单个连贯视觉输出中的人来说，"Combine Embeds" 功能至关重要。通过利用 "Combine Embeds"，您可以灵活地制作融合广泛艺术影响和灵感的图像，从而创作出真正个性化和创新的作品。提供的合并嵌入方法，如 Concat、Add、Subtract、Average 和 Norm Average，为合并这些影响提供了不同的方法。这些将在第 4 节 "ComfyUI IPAdapter 图像合并功能" 中详细探讨。

3. ComfyUI IPAdapter Plus - FaceID

在上面提到的配置中，您可能已经注意到缺少 FaceID 模型。要将 Face ID 模型集成到您的工作流程中，需要两个特定的节点："IPAdapter Unified Loader FaceID" 节点和 "IPAdapter FaceID" 节点。

3.1. ComfyUI IPAdapte FaceID 工作流

在 "IPAdapter Unified Loader FaceID" 节点中工作时，您可以从可用模型的下拉菜单中选择最新的 "Face ID Plus V2"。此操作指示加载器自动收集和准备 Face ID Plus V2 模型所特有的所有必要依赖项。

选择 CPU 作为提供程序。尽管可能有高性能 GPU 可用，但建议将 Face ID 模型配置为使用 CPU 作为其提供程序。这一建议源于保留宝贵视频 RAM (VRAM) 的好处，这一策略被证明是有利的，有助于优化项目资源分配的整体效率和有效性。

4. ComfyUI IPAdapter Plus - 图像合并功能

如何使用多个参考图像生成新图像？以下是使用 ComfyUI 的 IPAdapter Plus 实现这一目标的两种方法，为您提供创意图像生成所需的灵活性和控制力。

4.1. 方法 1：利用 ComfyUI "Batch Image" 节点

要开始使用 "Batch Image" 节点，您必须首先选择要合并的图像。然后将这些图像输入节点，创建统一的批次。随后将此批次引入 IPAdapter 管道，依次将每个图像应用于生成过程。

"IPAdapter Advanced" 节点引入了 "Combine Embeds" 选项，为您提供了复杂的控制，可以控制多个图像如何影响生成。这些选项—Concat、Add、Subtract、Average 和 Norm Average—决定了如何合并来自不同图像的嵌入，每种选项都会产生独特的结果：

• Concat：此选项将每个图像的嵌入连接起来，有效地将所有输入图像的信息保留并组合到一个扩展格式中。这种方法有利于合并每个图像的广泛特征，但由于要处理的信息量增加，可能会导致复杂性。
• Add：通过对图像的嵌入求和，"Add" 方法协同它们的影响，增强图像之间共同的特征。这对于强调共享特征或主题特别有用，可能会产生更统一和连贯的输出。
• Subtract：与相加相反，"Subtract" 方法通过相减来区分嵌入，突出每个图像的独特方面。这种方法允许创造性地探索对比，可用于减弱参考图像中存在的某些元素，为艺术表达提供新的途径。
• Average：通过对嵌入取平均值，这种方法实现了图像特征的平衡融合，确保任何单个图像的影响都不会过于主导。这种技术非常适合实现多个图像的和谐整合，提供均匀表示输入图像的内聚输出。
• Norm Average（归一化平均）：此选项根据每个图像在批次中的相对权重来调整其影响，实现对最终合成的精确控制。它允许微调生成图像的外观，确保最终结果与用户的愿景紧密对齐。

在下图中，通过使用不同的 "Combine Embeds"，您将获得不同的结果。

4.2. 方法 2：使用 ComfyUI "IPAdapter Encoder" 节点精确控制参考权重

对于那些希望更精细地控制参考图像在最终图像中的权重的人，IPAdapter 通过使用 "IPAdapter Encoder" 节点和 "IPAdapter Combine Embeds" 节点提供了解决方案。

4.2.1. 利用 "IPAdapter Encoder" 节点

合并过程中的每个图像都通过 IPAdapter 编码器节点进行处理，该节点对图像进行编码以与 IPAdapter 兼容。在 "IPAdapter Encoder" 节点中，用户可以为每个图像分配特定的权重，决定它们对合并输出的影响。调整这些权重可以细致地控制每个图像在合成中的主导程度或细微程度。

4.2.2. 使用 "IPAdapter Combine Embeds" 节点合并

在对图像进行编码并设置权重后，"IPAdapter Combine Embeds" 节点将合并它们的编码表示。它结合了编码器节点的正嵌入，反映了每个图像对合并输出的预期影响。这种平衡的嵌入随后准备进行合成。

4.2.3. 连接到 "IPAdapter" 节点

合成的嵌入最终由 IP Adapter 处理以生成新图像。尽管连接负嵌入是可选的，但建议这样做以节省计算资源。通过从编码器节点中选择任意两个负嵌入并将其链接到 IPAdapter 节点，可以优化该过程，最大限度地减少不必要的计算并简化合并过程。

通过遵循这些方法，您可以有效地合并多个图像以生成新的创意合成，充分利用 ComfyUI IPAdapter Plus 的功能！

5. ComfyUI IPAdapter Plus - 用于高图像的 IPAdapter Tile

在处理高图像时，您可能会遇到一个独特的挑战：IPAdapter 框架的核心组件 CLIP Vision 编码器天生更喜欢正方形图像。当直接将高图像连接到 IPAdapter 节点时，这种偏好可能会导致裁剪问题，通常只有图像的中心部分会影响输出。因此，图像的顶部和底部部分可能会被忽略，影响生成内容的整体质量。

为了解决这个问题，"IPAdapter Tiled" 节点提供了量身定制的解决方案。它允许直接连接高图像，通过将图片分割成较小的、可管理的图块来处理。这种方法确保在生成过程中考虑到参考图像的每个部分，避免了部分图像被忽略的问题。

5.1 ComfyUI IPAdapter Tile 工作流

"IPAdapter Tiled" 节点的另一个特点是瓦片和掩码输出，它提供了图像处理方式的可视化表示。此功能显示使用的特定瓦片及其相应的掩码，让您深入了解生成过程的内部工作原理。了解图像如何被分割和处理可以帮助您做出明智的调整以实现预期的结果。

此外，"IPAdapter Tiled" 节点允许自定义掩码调整，为突出或集中高图像的特定部分提供了灵活性。通过定制这些掩码，您可以将更多注意力引导到高图像的特定元素上，从而增强对结果的控制。当需要强调或最小化图像中的某些方面时，此功能非常宝贵，确保生成的内容与您的愿景完全一致。

因此，将 "IPAdapter Tiled" 节点纳入 ComfyUI IPAdapter Plus 显著提高了您处理涉及高图像的图像到图像条件生成项目的能力。

6. ComfyUI IPAdapter Plus - 风格和构图

如何使用 ComfyUI IPAdapter Plus 操纵和组合参考图像的风格和构图来创建新的、引人注目的视觉效果。ComfyUI IPAdapter Plus 为艺术家和设计师提供了一套强大的工具来进行实验，包括将一个图像的风格迁移、保持另一个图像的构图，甚至将不同参考图像的风格和构图合并到一个图像中的能力。

6.1. 用于风格迁移的 ComfyUI IPAdapter Plus

要使用 ComfyUI IPAdapter Advanced 节点将参考图像的风格（如单图 LoRA）迁移到目标内容上，请按照以下步骤操作：

设置 "IPAdapter Advanced" 节点：首先将 "IPAdapter Advanced" 节点纳入您的工作流程。

配置节点：在 ComfyUI IPAdapter Advanced 节点的设置中，找到 "Weight Type" 选项。使用下拉菜单选择 "Style Transfer (SDXL)"。此配置指示适配器将参考图像的视觉样式优先迁移到目标。

调整风格迁移 "Weight"："weight" 设置决定风格迁移的强度。增加此值会放大参考风格对目标图像的影响，使效果更加明显。

6.2. 用于保持构图的 ComfyUI IPAdapter Plus

要在生成新图像的同时保留参考图像的构图，您还将使用 ComfyUI IPAdapter Advanced 节点，但使用不同的设置：

设置 "IPAdapter Advanced" 节点：如前所述，将 IPAdapter Advanced 节点添加到您的工作流程中。

配置节点：从 "Weight Type" 下拉菜单中选择 "Composition (SDXL)"。这会指示适配器在新生成中保持参考图像的构图元素。

调整构图 "Weight"：修改 "weight" 设置以影响新图像对参考构图的遵从程度。权重越高，新图像就越严格地强制执行参考的构图。

6.3. 用于保持构图和风格迁移的 ComfyUI IPAdapter Plus

对于需要同时迁移一个图像的风格和另一个图像的构图的项目，"IPAdapter style & composition SDXL" 节点提供了一个简化的解决方案：

选择 "IPAdapter Style & Composition SDXL" 节点：将此专门的节点添加到您的项目中，以同时处理风格和构图迁移。

加载风格和构图参考："IPAdapter Style & Composition SDXL" 节点允许两个输入，一个用于要迁移风格的图像，另一个用于要保留构图的图像。相应地加载两个参考。

为风格和构图配置 "Weights"："IPAdapter Style & Composition SDXL" 节点为风格和构图提供了单独的权重设置。调整这些权重以平衡每个参考对最终图像的影响。为风格或构图设置较高的权重会在生成的图像中优先考虑该方面。

通过遵循这些步骤并尝试不同的设置，您可以利用 ComfyUI IPAdapter Plus 创建视觉上令人惊叹的图像，将一件艺术品的独特风格与另一件作品的精心构图融合在一起。

🌟🌟🌟 ComfyUI 在线 - 立即体验 IPAdapter Plus 工作流 🌟🌟🌟

如果您有兴趣探索 ComfyUI IPAdapter Plus (IPAdapter V2) 工作流，请使用以下 ComfyUI 网页。它配备了所有必要的自定义节点和模型，无需手动设置即可实现无缝创作。立即开始获得实践经验！

更多高级和精选的 ComfyUI 工作流，请访问我们的 🌟ComfyUI 工作流列表🌟