ComfyUI PhotoMakerV2 | Создавайте реалистичные фотографии

Что такое PhotoMakerV2

PhotoMakerV2, обновление от PhotoMaker, предлагает эффективный метод персонализированной генерации изображений по тексту. Он синтезирует реалистичные фотографии людей, используя несколько входных изображений личности и текстовую подсказку.

Некоторые ключевые особенности PhotoMakerV2:

• Высокая эффективность: Быстро создаёт персонализированные фотографии.
• Отличное сохранение личности: Сохраняет сходство с входными личностями.
• Гибкое управление текстом: Позволяет указывать контекст, стиль, атрибуты и т.д. в подсказке.
• Улучшенная точность идентификации: Улучшена по сравнению с PhotoMaker V1. PhotoMakerV2 создаёт фотореалистичные изображения человека в различных контекстах, стилизует внешность, изменяет атрибуты, такие как возраст и пол, объединяет личности и модернизирует людей с старых фотографий или произведений искусства. Он открывает множество творческих возможностей.

Как работает PhotoMakerV2

PhotoMakerV2 кодирует одно или несколько входных изображений личности в "stacked ID embedding", служащее унифицированным представлением, заключающим в себе информацию о личности.

Эта embedding, комбинированная с текстовой подсказкой, подаётся в модель диффузии текст-изображение. Модель затем создаёт изображение, изображающее встроенную личность в контексте, описанном в подсказке.

Некоторые ключевые аспекты работы:

• Использует энкодер личности для извлечения информации о личности из входных изображений лиц
• Улучшает сохранение личности с помощью внешней модели распознавания лиц (InsightFace)
• Кодирует несколько изображений личности в stacked embedding для всестороннего захвата личности
• Подаёт stacked ID embedding в кросс-аттенционные слои модели диффузии
• Управляет генерацией с помощью текстовой подсказки, адаптивно объединяя информацию о личности
• Обучена на датасете, ориентированном на идентификацию, чтобы улучшить способности к идентификации

Как использовать ComfyUI PhotoMakerV2

Чтобы использовать PhotoMakerV2 в ComfyUI, в основном взаимодействуйте с узлом PhotoMakerEncodePlus. Типичный рабочий процесс включает:

1. Загрузите модель PhotoMakerV2, используя узел "PhotoMaker Loader Plus".
2. Загрузите одно или несколько изображений личности, используя узел "Prepare Images For CLIP Vision".
3. Загрузите модель InsightFace, необходимую для PhotoMakerV2, используя узел "PhotoMaker InsightFace Loader".
4. Подключите выходы этих узлов к соответствующим входам узла "PhotoMaker Encode Plus".
5. В узле "PhotoMaker Encode Plus" укажите подсказку, описывающую желаемое изображение. Используйте специальное триггерное слово в подсказке, где должна появиться личность.
6. Подключите выходное кондиционирование от узла "PhotoMaker Encode Plus" к узлу "KSampler" для генерации изображения.

Для получения дополнительной информации посетите и . Все заслуги принадлежат их авторам.