PuLID | Точное встраивание лиц для генерации изображений по тексту

Что такое PuLID?

PuLID (Pure and Lightning ID customization) - это новый метод настройки идентичности (ID) без настройки в моделях генерации изображений по тексту. Он нацелен на встраивание конкретной идентичности (например, лица человека) в предварительно обученную модель генерации изображений по тексту без нарушения исходных возможностей модели. Это позволяет генерировать изображения конкретного человека, при этом сохраняя возможность изменять атрибуты, стили, фоны и т.д. с помощью текстовых подсказок.

PuLID включает два ключевых компонента:

1. Ветвь "Lightning T2I", которая быстро генерирует высококачественные изображения, обусловленные идентичностью, всего за несколько шагов денойзинга, вместе со стандартной ветвью диффузии. Это позволяет рассчитывать точные потери идентичности для улучшения достоверности сгенерированного лица.
2. Контрастные потери выравнивания между путями Lightning T2I с и без условий идентичности. Это инструктирует модель, как встраивать информацию об идентичности, не загрязняя исходные возможности модели по следованию подсказкам и генерации изображений.

Как работает PuLID

Архитектура PuLID состоит из обычной ветви тренировки диффузии и новой ветви Lightning T2I:

1. В ветви диффузии PuLID следует стандартному процессу тренировки диффузии с итеративным денойзингом. Условие идентичности вырезается из целевого тренировочного изображения.
2. Ветвь Lightning T2I использует последние методы быстрого семплинга для генерации высококачественного изображения, обусловленного идентичностью, всего за 4 шага денойзинга, начиная с чистого шума.
3. В ветви Lightning T2I создаются два пути - один обусловленный только текстовой подсказкой, другой обусловленный как текстовой подсказкой, так и идентичностью. Особенности UNET этих путей выравниваются с использованием контрастных потерь:
   • Потеря семантического выравнивания гарантирует, что отклик модели на текстовую подсказку схож с и без условий идентичности. Это сохраняет исходные возможности модели по следованию подсказкам.
   • Потеря выравнивания макета поддерживает согласованность макета сгенерированного изображения до и после вставки идентичности.
4. Ветвь Lightning T2I позволяет рассчитывать точные потери идентичности между сгенерированным встраиванием лица и реальным встраиванием идентичности, так как она производит чистое, денойзированное выходное лицо. Это улучшает достоверность сгенерированной идентичности.

Как использовать ComfyUI PuLID

Использование рабочего процесса ComfyUI PuLID для применения настройки идентичности к модели включает несколько ключевых параметров в узле "Apply PuLID":

Требуемые входные данные "Apply PuLID":

• модель: базовая модель диффузии изображений по тексту для настройки с конкретной идентичностью. Обычно это предварительно обученная модель, такая как Stable Diffusion.
• pulid: загруженные веса модели PuLID, которые определяют, как информация об идентичности вставляется в базовую модель. Различные файлы весов PuLID могут быть обучены для приоритизации либо достоверности идентичности, либо сохранения исходного стиля генерации модели.
• eva_clip: загруженная модель Eva-CLIP для кодирования черт лица из эталонного изображения(ий) идентичности. Eva-CLIP производит значимое встраивание черт лица.
• face_analysis: загруженная модель InsightFace для распознавания и обрезки лица в эталонном изображении(ях) идентичности. Это гарантирует, что кодируются только релевантные черты лица.
• изображение: эталонное изображение или изображения, изображающие конкретную идентичность для вставки в модель. Можно предоставить несколько изображений одной и той же идентичности для улучшения встраивания идентичности.
• метод: выбирает метод вставки идентичности, с опциями "fidelity", "style" и "neutral". "fidelity" приоритизирует максимальное сходство с эталоном идентичности, даже если качество генерации ухудшается. "style" фокусируется на сохранении исходных возможностей модели по генерации с более низкой достоверностью идентичности. "neutral" балансирует между этими двумя.
• вес: контролирует силу вставки идентичности, от 0 (без эффекта) до 5 (очень сильная). По умолчанию 1. Более высокий вес улучшает достоверность идентичности, но рискует переопределить исходную генерацию модели.
• start_at: шаг денойзинга (в процентах от 0 до 1), с которого начинается применение настройки идентичности PuLID. По умолчанию 0, начиная вставку идентичности с первого шага денойзинга. Может быть увеличен для начала вставки идентичности позже в процессе денойзинга.
• end_at: шаг денойзинга (в процентах от 0 до 1), на котором заканчивается применение настройки идентичности PuLID. По умолчанию 1, применяя вставку идентичности до конца денойзинга. Может быть уменьшен для остановки вставки идентичности до последних шагов денойзинга.

Дополнительные входные данные "Apply PuLID":

• attn_mask: дополнительное изображение маски в градациях серого для пространственного контроля, где применяется настройка идентичности. Белые области маски получают полный эффект вставки идентичности, черные области не затрагиваются, серые области получают частичный эффект. Полезно для локализации идентичности только на область лица.

Выходные данные "Apply PuLID":

• МОДЕЛЬ: входная модель с примененной настройкой идентичности PuLID. Эта настроенная модель может быть использована в других узлах ComfyUI для генерации изображений. Сгенерированные изображения будут изображать идентичность, при этом оставаясь управляемыми через подсказки.

Настройка этих параметров позволяет точно настроить вставку идентичности PuLID для достижения желаемого баланса между достоверностью идентичности и качеством генерации. Обычно вес 1 с методом "neutral" предоставляет надежную отправную точку, которую затем можно настроить на основе результатов. Параметры start_at и end_at обеспечивают дополнительный контроль над тем, когда идентичность начинает действовать в процессе денойзинга, с возможностью локализации эффекта через attn_mask.

Для получения дополнительной информации, пожалуйста, посетите github