Подробное Руководство по Освоению ComfyUI IPAdapter Plus (IPAdapter V2)

Добро пожаловать! В этом руководстве мы рассмотрим захватывающие возможности ComfyUI IPAdapter Plus, также известного как ComfyUI IPAdapter V2.

Модели IPAdapter очень мощны для image-to-image conditioning, позволяя легко переносить объект или стиль эталонных изображений на новые творения. Подумайте об этом как о LoRA для одного изображения.

Введение IPAdapter Plus (IPAdapter V2) привнесло множество новых функций, направленных на упрощение процесса интеграции моделей, улучшение удобства использования и расширение творческих возможностей.

Важно отметить, что обновление до ComfyUI IPAdapter Plus (IPAdapter V2) сделает ваши предыдущие рабочие процессы, которые зависят от узла ComfyUI IPAdapter V1, неисправными. Следовательно, вам нужно будет перестроить свои проекты с использованием ComfyUI IPAdapter Plus.

Мы рассмотрим:

1. ComfyUI IPAdapter Plus - IPAdapter Basic Node

• 1.1. Самый простой рабочий процесс ComfyUI IPAdapter
• 1.2. Входы узла ComfyUI "IPAdapter"
• 1.3. Параметры узла ComfyUI "IPAdapter"
• 1.4. Различия в использовании ComfyUI IPAdapter Plus с моделями SD1.5 и SDXL Checkpoint

2. ComfyUI IPAdapter Plus - IPAdapter Advanced Node

• 2.1. Расширенный рабочий процесс ComfyUI IPAdapter
• 2.2. Расширенные параметры узла ComfyUI "IPAdapter Advanced"

3. ComfyUI IPAdapter Plus - FaceID

• 3.1. Рабочий процесс ComfyUI IPAdapter FaceID

4. ComfyUI IPAdapter Plus - Функция слияния изображений

• 4.1. Метод 1: Использование узла ComfyUI "Batch Image"
• 4.2. Метод 2: Точный контроль над весами ссылок с использованием узла ComfyUI "IPAdapter Encoder"

5. ComfyUI IPAdapter Plus - IPAdapter Tile для высоких изображений

• 5.1 Рабочий процесс ComfyUI IPAdapter Tile

6. ComfyUI IPAdapter Plus - Стиль и Композиция

• 6.1. ComfyUI IPAdapter Plus для переноса стиля
• 6.2. ComfyUI IPAdapter Plus для сохранения композиции
• 6.3. ComfyUI IPAdapter Plus для сохранения композиции и переноса стиля

🌟🌟🌟 ComfyUI Online - Попробуйте рабочий процесс IPAdapter Plus прямо сейчас 🌟🌟🌟

Если вас интересует исследование рабочей схемы ComfyUI IPAdapter Plus (IPAdapter V2), используйте следующий веб-сайт ComfyUI. Он полностью оснащен всеми необходимыми узлами и моделями, что позволяет творить без необходимости в ручной настройке. Начните приобретать практический опыт прямо сейчас или продолжите с этим руководством, чтобы узнать, как эффективно использовать IPAdapter Plus.

Для более продвинутых и премиальных рабочих процессов ComfyUI, посетите наш 🌟ComfyUI Workflow List🌟

1. ComfyUI IPAdapter Plus - IPAdapter Basic Node

1.1. Самый простой рабочий процесс ComfyUI IPAdapter

1.2. Входы узла ComfyUI "IPAdapter"

1.2.1. Входы узла "IPAdapter": Model и IPAdapter

Входы "Model" и "IPAdapter" узла "IPAdapter" подключены к выходу узла "IPAdapter Unified Loader". Здесь вы можете выбрать различные модели IPAdapter, каждая из которых адаптирована к разным требованиям:

• Light - SD1.5 Only (low strength): Эта модель идеально подходит для минимальных изменений и совместима исключительно с моделью SD1.5.
• Standard (medium strength): Эта модель достигает изменений средней интенсивности, подходит для широкого спектра приложений, балансируя между тонкими и заметными изменениями.
• VIT-G (medium strength): Хотя эта модель предлагает средние изменения, как и Standard, модель VIT-G адаптирована для более сложных или разнообразных данных изображений, что потенциально улучшает производительность в определенных сценариях.
• PLUS (high strength): Для тех, кто требует значительных изменений, модель PLUS предлагает мощные творческие возможности, позволяя значительные изменения.
• PLUS FACE (portraits): Эта модель специально разработана для улучшения портретов, сосредоточена на улучшении черт лица, идеально подходит для портретной фотографии и произведений искусства.
• Full FACE - SD1.5 Only (portraits stronger): Более интенсивная версия PLUS FACE, модель Full FACE предназначена для драматических преобразований в портретах, но совместима только с моделью SD1.5.

1.2.2. Входы узла "IPAdapter": Image

Вход "Image" узла "IPAdapter" - это эталонное изображение, используемое для image-to-image conditioning. Здесь узел "IPAdapter" применяет свои преобразующие возможности, изменяя эталонное изображение на основе заданных параметров и функциональности модели. В результате этого процесса создаются новые изображения, наследующие атрибуты эталонного изображения и объединяющие их с творческим потенциалом модели IPAdapter.

1.2.3. Входы узла "IPAdapter": Attn Mask (Attention Mask)

С помощью "Attn Mask" вы можете выделить определенные области изображения для фокусированной обработки или направить внимание модели, улучшая или сохраняя определенные особенности изображения, направляя внимание модели.

1.3. Параметры узла ComfyUI "IPAdapter"

1.3.1. Параметры узла "IPAdapter": Weight

Параметр "Weight" регулирует интенсивность применяемых изменений; более высокие значения приводят к более выраженным эффектам, в то время как более низкие значения приводят к более тонким изменениям.

1.3.2. Параметры узла "IPAdapter": Start At & End At

Параметры "Start At" и "End At" определяют начальные и конечные этапы, на которых применяются эффекты IPAdapter, предоставляя контроль над обработкой.

1.3.3. Параметры узла "IPAdapter": Weight Type

Тип веса для применения веса через этапы обработки варьируется, каждый из них влияет на результат по-своему:

• Standard
• Prompt is more important
• Style Transfer (SDXL only)

1.4. Различия в использовании ComfyUI IPAdapter Plus с моделями SD1.5 и SDXL Checkpoint

При работе с моделями SDXL модель IPAdapter Plus бесшовно интегрируется и автоматически адаптируется к характеристикам модели SDXL. Однако важно правильно настроить размер латента, чтобы соответствовать требованиям модели SDXL.

2. ComfyUI IPAdapter Plus - IPAdapter Advanced Node

2.1. Расширенный рабочий процесс ComfyUI IPAdapter

Предлагая более полный набор функций, узел ComfyUI IPAdapter Advanced усиливает контроль над процессом генерации через такие параметры, как "Image Negative", "CLIP Vision", "Combine Embeds" и больше вариантов "Weight Type", приближая изображения к вашему творческому видению.

2.2. Расширенные параметры узла ComfyUI "IPAdapter Advanced"

2.2.1. Расширенные параметры узла "IPAdapter Advanced": Image Negative

Параметр "Image Negative" позволяет вам определить, что вы не хотите видеть на конечном изображении. Указывая негативные примеры, модель направляется в сторону от нежелательных элементов, направляясь к более желаемому результату. Эта функция важна для избегания определенных тем, объектов или узоров на генерируемом изображении, обеспечивая, чтобы результат соответствовал вашим предпочтениям.

2.2.2. Расширенные параметры узла "IPAdapter Advanced": CLIP Vision

В узле "IPAdapter Advanced" вы найдете вход "CLIP Vision". Он подключается к выходу узла "Load CLIP Vision", где вы можете выбрать различные модели CLIP-ViT.

• CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors: Этот вариант модели является частью семейства CLIP (Contrastive Language–Image Pre-training), специально разработанной для понимания и интерпретации визуального контента в отношении текстовой информации. Она обучена на большом наборе данных (laion2B), с размером модели в 32 миллиарда параметров (s32B) и была оптимизирована для балансировки производительности и безопасности в генерации контента (b79K указывает на определенный эталон или версию). Эта модель подходит для выполнения широкого спектра задач визуального распознавания, что делает ее подходящей для генерации высококачественных, контекстуально точных изображений.
• CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors: Аналогично своему аналогу, эта модель также обучена на наборе данных laion2B, но имеет больший размер в 39 миллиардов параметров, что делает ее способной понимать более тонкие отношения между текстом и изображениями. "bigG" возможно означает более крупную или продвинутую версию в серии CLIP-ViT, а "b160k" указывает на его эталон или версию. Эта модель превосходит в создании детализированных и сложных изображений, которые тесно соответствуют текстовым описаниям, подходящих для приложений, требующих высокой точности и глубокого семантического понимания.

Основное различие между CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors и CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors заключается в их размере и потенциальной способности обрабатывать сложные задачи, при этом последняя модель больше, с 39 миллиардами параметров, что предполагает, что она может интерпретировать более тонкие отношения текст-изображение, чем первая с 32 миллиардами параметров.

2.2.3. Расширенные параметры узла "IPAdapter Advanced": Weight Type

По сравнению с узлом "IPAdapter", узел "IPAdapter Advanced" открывает больше вариантов для "weight type", каждый из которых влияет на результат по-своему:

• Linear: Применяет вес равномерно от начала до конца процесса обработки, обеспечивая постоянное влияние без изменения интенсивности.
• Ease In: Постепенно увеличивает вес с начала, позволяя плавное введение эффекта по мере его продвижения через процесс.
• Ease Out: Начинается с сильного влияния, которое постепенно уменьшается, эффективно ослабляя эффект к концу процесса.
• Ease In-Out: Комбинация эффектов "Ease In" и "Ease Out"; начинается и заканчивается с мягким влиянием, достигая пика в середине для максимального воздействия.
• Weak Input: Специально уменьшает влияние эффекта в начале процесса, делая начальные элементы менее выраженными.
• Weak Output: Уменьшает влияние к концу процесса, смягчая заключительные аспекты изображения.
• Weak Middle: Минимизирует влияние эффекта в середине процесса, часто для сохранения ясности или фокуса на начальных и конечных аспектах.
• Strong Middle: Усиливает эффект в центральной части процесса, увеличивая влияние на основные элементы изображения.
• Style Transfer (SDXL): Разработан исключительно для моделей SDXL, этот вариант фокусируется на адаптации стиля из эталонного изображения к целевому изображению, используя возможности SDXL для тонкой стилистической трансформации.
• Composition (SDXL): Адаптирован для моделей SDXL, он направлен на слияние композиционных элементов эталонного и целевого изображений, подчеркивая расположение и взаимодействие элементов в пространстве.

2.2.4. Расширенные параметры узла "IPAdapter Advanced": Combine Embeds

Функция "Combine Embeds" важна для тех, кто хочет объединить входы из нескольких источников в одно целое визуальное изображение. Используя "Combine Embeds", вы получаете гибкость в создании изображений, которые включают широкий спектр художественных влияний и вдохновений, что приводит к действительно персонализированным и инновационным творениям. Методы, предоставленные для объединения embeds, такие как Concat, Add, Subtract, Average и Norm Average, предлагают разнообразные подходы к объединению этих влияний. Эти методы будут подробно рассмотрены в разделе 4, "Функция слияния изображений ComfyUI IPAdapter".

3. ComfyUI IPAdapter Plus - FaceID

В указанной выше конфигурации вы могли заметить отсутствие модели FaceID. Чтобы интегрировать модель Face ID в свой рабочий процесс, требуются два конкретных узла: узел "IPAdapter Unified Loader FaceID" и узел "IPAdapter FaceID".

3.1. Рабочий процесс ComfyUI IPAdapter FaceID

При работе с узлом "IPAdapter Unified Loader FaceID" вы можете выбрать последнюю модель "Face ID Plus V2" из выпадающего меню доступных моделей. Это действие инструктирует загрузчик автоматически собрать и подготовить все необходимые зависимости, уникальные для модели Face ID Plus V2.

Выберите CPU в качестве провайдера. Несмотря на возможное наличие высокопроизводительного GPU, рекомендуется настроить модель Face ID для использования CPU в качестве провайдера. Это связано с преимуществом сохранения ценного видеопамяти (VRAM), что является стратегией, которая оказывается выгодной и помогает оптимизировать общую эффективность и результативность распределения ресурсов вашего проекта.

4. ComfyUI IPAdapter Plus - Функция слияния изображений

Как использовать несколько эталонных изображений для создания нового? Вот два метода для достижения этого с помощью ComfyUI IPAdapter Plus, предоставляющие вам гибкость и контроль, необходимые для творческой генерации изображений.

4.1. Метод 1: Использование узла ComfyUI "Batch Image"

Чтобы начать с узла "Batch Image", сначала необходимо выбрать изображения, которые вы хотите объединить. Эти изображения затем вводятся в узел, создавая единый пакет. Этот пакет затем вводится в pipeline IPAdapter, последовательно применяя каждое изображение к процессу генерации.

Узел "IPAdapter Advanced" вводит опции "Combine Embeds", предоставляя вам сложный контроль над тем, как несколько изображений влияют на генерацию. Эти опции — Concat, Add, Subtract, Average и Norm Average — диктуют, как embeddings из разных изображений объединяются, каждая из которых приводит к уникальным результатам:

• Concat: Этот вариант конкатенирует embeddings из каждого изображения, эффективно сохраняя и объединяя информацию из всех входных изображений в единый, расширенный формат. Этот подход полезен для включения широкого спектра характеристик из каждого изображения, но может привести к сложности из-за увеличенного объема обрабатываемой информации.
• Add: Суммируя embeddings изображений, метод "Add" синергично усиливает их влияние, подчеркивая общие черты. Это может быть особенно полезно для выделения общих особенностей или тем, что потенциально приводит к более единому и согласованному результату.
• Subtract: В отличие от сложения, метод "Subtract" дифференцирует embeddings, вычитая их, подчеркивая уникальные аспекты каждого изображения. Этот подход позволяет творчески исследовать контрасты и может использоваться для уменьшения определенных элементов, присутствующих в эталонных изображениях, предлагая новый путь для художественного выражения.
• Average: Усредняя embeddings, этот метод достигает сбалансированного объединения характеристик изображений, обеспечивая, что влияние любого одного изображения не доминирует. Эта техника идеальна для достижения гармоничного объединения нескольких изображений, обеспечивая согласованный результат, который равномерно представляет входные изображения.
• Norm Average (нормализованное усреднение): Этот вариант настраивает влияние каждого изображения на основе его относительного веса в пакете, обеспечивая точный контроль над тем, как каждое эталонное изображение влияет на окончательную композицию. Это позволяет точно настроить внешний вид сгенерированного изображения, обеспечивая, чтобы конечный результат тесно соответствовал вашему видению.

На следующем изображении, используя разные "Combine Embeds", вы получите разные результаты.

4.2. Метод 2: Точный контроль над весами ссылок с использованием узла ComfyUI "IPAdapter Encoder"

Для тех, кто ищет более точный контроль над тем, как эталонные изображения взвешиваются в конечном изображении, IPAdapter предоставляет решение с использованием узлов "IPAdapter Encoder" и узла "IPAdapter Combine Embeds".

4.2.1. Использование узлов "IPAdapter Encoder"

Каждое изображение в процессе слияния обрабатывается через узел IPAdapter encoder, который кодирует изображения для совместимости с IPAdapter. В узлах "IPAdapter Encoder" пользователи могут назначать конкретные веса каждому изображению, диктуя их влияние на объединенный результат. Настройка этих весов позволяет получить тонкий контроль над доминированием или тонкостью каждого изображения в композиции.

4.2.2. Слияние с узлом "IPAdapter Combine Embeds"

После кодирования изображений и установки их весов узел "IPAdapter Combine Embeds" объединяет их закодированные представления. Он объединяет положительные embeddings из узлов encoder, отражая предполагаемое влияние каждого изображения на объединенный результат. Это сбалансированное embedding затем готово для синтеза.

4.2.3. Подключение к узлу "IPAdapter"

Синтезированное embedding в конечном итоге обрабатывается IP Adapter для создания нового изображения. Хотя подключение отрицательных embeddings является необязательным, рекомендуется это делать для сохранения вычислительных ресурсов. Выбирая любые из двух отрицательных embeddings из узлов encoder и связывая их с узлом IPAdapter, процесс оптимизируется, минимизируя ненужные вычисления и упрощая процесс слияния.

Следуя этим методам, вы можете эффективно объединять несколько изображений для создания новых, творческих композиций, максимально используя возможности ComfyUI IPAdapter Plus!

5. ComfyUI IPAdapter Plus - IPAdapter Tile для высоких изображений

При обработке высоких изображений вы можете столкнуться с уникальной проблемой: энкодер CLIP Vision, основной компонент фреймворка IPAdapter, по своей природе предпочитает квадратные изображения. Это предпочтение может привести к проблемам обрезки при непосредственном подключении высокого изображения к узлу IPAdapter, что обычно приводит к тому, что только центральная часть изображения влияет на результат. В результате верхние и нижние части вашего изображения могут быть проигнорированы, что влияет на общее качество сгенерированного контента.

Для решения этой проблемы узел "IPAdapter Tiled" предлагает индивидуальное решение. Он позволяет напрямую подключать высокие изображения, сегментируя картину на меньшие, управляемые плитки. Этот метод гарантирует, что каждая часть вашего эталонного изображения учитывается в процессе генерации, избегая проблемы игнорирования части изображения.

5.1 Рабочий процесс ComfyUI IPAdapter Tile

Дополнительной особенностью узла "IPAdapter Tiled" является вывод плиток и масок, который предоставляет визуальное представление о том, как ваше изображение обрабатывается. Эта функция показывает конкретные плитки, которые используются, и их соответствующие маски, предоставляя вам представление о внутреннем механизме процесса генерации. Понимание того, как ваше изображение сегментируется и обрабатывается, может помочь вам вносить обоснованные коррективы для достижения желаемых результатов.

Кроме того, узел "IPAdapter Tiled" позволяет настраивать маски, предлагая гибкость для выделения или сосредоточения на определенных участках вашего изображения. Настраивая эти маски, вы можете направить больше внимания на определенные элементы вашего высокого изображения, предоставляя усиленный контроль над результатом. Эта функция оказывается бесценной для акцентирования или минимизации определенных аспектов в вашем изображении, обеспечивая, чтобы сгенерированный контент точно соответствовал вашему видению.

Таким образом, интеграция узла "IPAdapter Tiled" в ComfyUI IPAdapter Plus значительно улучшает ваши возможности работы с проектами image-to-image conditioning, включающими высокие изображения.

6. ComfyUI IPAdapter Plus - Стиль и Композиция

Как использовать ComfyUI IPAdapter Plus для манипулирования и объединения стилей и композиций эталонных изображений для создания новых, захватывающих визуальных эффектов. ComfyUI IPAdapter Plus предлагает мощный набор инструментов для художников и дизайнеров, позволяя экспериментировать, включая возможность переноса стиля одного изображения, сохранения композиции другого или даже объединения как стиля, так и композиции из разных эталонов в одно изображение.

6.1. ComfyUI IPAdapter Plus для переноса стиля

Чтобы перенести стиль эталонного изображения, как 1-image LoRA, на целевой контент с использованием узла ComfyUI IPAdapter Advanced, выполните следующие шаги:

Настройка узла "IPAdapter Advanced": Начните с добавления узла "IPAdapter Advanced" в ваш рабочий процесс.

Настройка узла: В настройках узла ComfyUI IPAdapter Advanced найдите опцию "Weight Type". Используйте выпадающее меню для выбора "Style Transfer (SDXL)." Эта конфигурация направляет адаптер на приоритет переноса визуального стиля вашего эталонного изображения на целевой объект.

Настройка "Weight" переноса стиля: Параметр "weight" определяет силу переноса стиля. Увеличение этого значения усиливает влияние эталонного стиля на целевое изображение, делая эффект более заметным.

6.2. ComfyUI IPAdapter Plus для сохранения композиции

Чтобы сохранить композицию эталонного изображения при создании нового, также используйте узел ComfyUI IPAdapter Advanced, но с другой настройкой:

Настройка узла "IPAdapter Advanced": Как и раньше, добавьте узел IPAdapter Advanced в ваш рабочий процесс.

Настройка узла: Выберите "Composition (SDXL)" из выпадающего меню "Weight Type". Это инструктирует адаптер сохранять композиционные элементы эталонного изображения в новой генерации.

Настройка "Weight" композиции: Настройте параметр "weight", чтобы влиять на то, насколько плотно новое изображение будет следовать композиции эталона. Более высокий вес будет более строго соблюдать композицию эталона.

6.3. ComfyUI IPAdapter Plus для сохранения композиции и переноса стиля

Для проектов, требующих как стиля одного изображения, так и композиции другого, узел "IPAdapter style & composition SDXL" предлагает упрощенное решение:

Выберите узел "IPAdapter Style & Composition SDXL": Добавьте этот специализированный узел в ваш проект для одновременного управления переносом стиля и композиции.

Загрузите эталонные изображения стиля и композиции: Узел "IPAdapter Style & Composition SDXL" позволяет два входа, один для изображения, стиль которого вы хотите перенести, и другой для изображения, композицию которого вы хотите сохранить. Загрузите оба эталона соответственно.

Настройка "Weights" для стиля и композиции: Узел "IPAdapter Style & Composition SDXL" предоставляет отдельные настройки веса для стиля и композиции. Настройте эти веса для балансировки влияния каждого эталона на итоговое изображение. Установка более высокого веса для стиля или композиции будет приоритетизировать этот аспект в сгенерированном изображении.

Следуя этим шагам и экспериментируя с настройками, вы можете использовать ComfyUI IPAdapter Plus для создания визуально потрясающих изображений, которые объединяют лучшие черты обоих миров: уникальный стиль одного произведения искусства с продуманной композицией другого.

🌟🌟🌟 ComfyUI Online - Попробуйте рабочий процесс IPAdapter Plus прямо сейчас 🌟🌟🌟

Если вас интересует исследование рабочей схемы ComfyUI IPAdapter Plus (IPAdapter V2), используйте следующий веб-сайт ComfyUI. Он полностью оснащен всеми необходимыми узлами и моделями, что позволяет творить без необходимости в ручной настройке. Начните приобретать практический опыт прямо сейчас!

Для более продвинутых и премиальных рабочих процессов ComfyUI, посетите наш 🌟ComfyUI Workflow List🌟