Face Detailer ComfyUI Workflow/Tutorial - Исправление Лиц в Любом Видео или Анимации

Привет! 🌟 Сегодня мы изучим искусство замены и исправления лиц на изображениях и видео с помощью очень крутого инструмента: Face Detailer ComfyUI. Берите свои цифровые кисти и давайте творить!

Мы рассмотрим:

1. Что такое Face Detailer в ComfyUI?
   • After Detailer (ADetailer) для Automatic111 vs. Face Detailer для ComfyUI
   • ComfyUI Impact Pack - Face Detailer
2. Face Detailer ComfyUI Workflow - Без установки, абсолютно бесплатно
3. Добавление узла Face Detailer
4. Входные данные для Face Detailer
   • Введите изображение, которое хотите восстановить
   • Выберите Model, Clip, VAE и введите как положительный, так и отрицательный запрос
   • Разница между BBox Detector и Segm Detector (модель Sam)
5. Настройки Face Detailer: Как использовать Face Detailer в ComfyUI
   • Face Detailer - Guide Size, Guide Size For, Max Size и BBX Crop Factor
   • Face Detailer - Feather
   • Face Detailer - Noise Mask
   • Face Detailer - Force Inpainting
   • Face Detailer - Drop Size
   • Face Detailer - BBox Related Features
   • Face Detailer - Segm/Sam Related Features
6. Другие улучшения
   • Two Pass Refine с Face Detailer (Pipe)
   • Масштабирование видео с использованием 4x-UltraSharp
7. Запустите Face Detailer ComfyUI Workflow бесплатно

1. Что такое Face Detailer в ComfyUI?

1.1 After Detailer (ADetailer) для Automatic111 vs. Face Detailer для ComfyUI

Я думаю, вы могли слышать об расширении After Detailer (ADetailer) для Automatic111, используемом для исправления лиц. Аналогичная функция этого расширения, известная как Face Detailer, существует в ComfyUI и является частью Impact Pack Node. Поэтому, если вы хотите использовать ADetailer в ComfyUI, вам следует выбрать Face Detailer из Impact Pack в ComfyUI.

1.2 ComfyUI Impact Pack - Face Detailer

ComfyUI Impact Pack служит вашим цифровым ящиком инструментов для улучшения изображений, подобно швейцарскому ножу для ваших изображений. Он оснащен различными модулями, такими как Detector, Detailer, Upscaler, Pipe и другими. Главная особенность - Face Detailer, который без усилий восстанавливает лица на изображениях, видео и анимациях.

2. Face Detailer ComfyUI Workflow - Без установки, абсолютно бесплатно

Посмотрите видео выше, созданное с использованием Face Detailer ComfyUI Workflow. Теперь вы можете испытать Face Detailer Workflow без каких-либо установок. Все настроено для вас в облачной ComfyUI, предварительно загруженной узлом Impact Pack - Face Detailer и всеми необходимыми моделями для беспроблемного использования. Вы можете запустить этот Face Detailer Workflow сейчас или продолжить чтение этого руководства о том, как его использовать, а затем попробовать позже.

3. Добавление узла Face Detailer

Хорошо, давайте начнем работу с Face Detailer ComfyUI. Узел Face Detailer может показаться сложным на первый взгляд, но не бойтесь, мы разберем его по частям. Поняв каждый вход, выход и параметр, вы будете владеть этим мощным инструментом как профессионал в кратчайшие сроки.

Чтобы найти Face Detailer в ComfyUI, просто перейдите в Add Node → Impact Pack → Simple → Face Detailer / Face Detailer (pipe).

Давайте начнем с "Face Detailer", а затем углубимся в "Face Detailer Pipe".

• FaceDetailer - Легко обнаруживает лица и улучшает их.
• FaceDetailer (pipe) - Легко обнаруживает лица и улучшает их (для многопроходного режима).

В этом руководстве мы рассмотрим, как исправлять лица или заменять лица в видео. Видео создано с помощью AnimateDiff. Если вы хотите узнать больше о AnimateDiff, у нас есть отдельное руководство по AnimateDiff!

Если вам удобнее работать с изображениями, просто замените узлы, связанные с видео, на узлы, связанные с изображением. Face Detailer достаточно универсален, чтобы работать и с видео, и с изображениями.

4. Входные данные для Face Detailer

4.1 Введите изображение, которое хотите восстановить

Начнем с ввода изображения (верхняя левая кнопка в Face Detailer), что означает подачу изображения или видео в Face Detailer ComfyUI. Здесь начинается трансформация! Здесь мы подаем в Face Detailer видео, сгенерированное AnimateDiff.

4.2 Выберите Model, Clip, VAE и введите как положительный, так и отрицательный запрос

Вы, вероятно, уже знакомы с этими настройками. Мы пропустим основы и просто отметим, что запросы - как положительные, так и отрицательные - играют здесь решающую роль. Мы используем те же запросы, которые сгенерировали видео. Однако у вас есть возможность настроить эти запросы, особенно для лица, которое вы намерены заменить.

Вот интересный момент: использование тех же запросов, что и при генерации изображения, приводит к восстановлению лица. С другой стороны, разные запросы означают, что вы выбираете полную замену лица. Выбор за вами!

Совет: Используйте "To Basic Pipe" и "From Basic Pipe"

Чтобы упростить процесс подключения многочисленных узлов, используйте систему "Pipe". Начните с "To Basic Pipe", комбинирующего входы, чтобы собрать различные входные данные. Затем используйте "From Basic Pipe" для развертки этих входных данных. Просто соедините эти две трубы, и у вас будут все необходимые входные данные, готовые для быстрой и эффективной интеграции.

4.3 Разница между BBox Detector и Segm Detector (модель Sam)

BBox модели специализируются на идентификации элементов с использованием ограничивающих рамок, в то время как Segm/person модели используют маски для обнаружения.

В обоих случаях, будь то BBox Detector или Segm Detector, мы используем узел "Ultral Litic Detector Provider". Однако важно отметить, что для BBox Detector мы специально используем модели bbox/face_yolov8m и bbox/hand_yolov8s. В то время как модель segm/person_yolov8m-seg используется исключительно для Segm Detector.

Далее идет информация, относящаяся исключительно к BBox Detector. Поэтому вы увидите, что предпросмотр обрезанного и улучшенного изображения отображается как коробка.

Затем, когда мы объединяем возможности как BBox Detector, так и Segm Detector, и интегрируем модель Sam, предпросмотр обрезанного и улучшенного изображения принимает вид маски.

5. Настройки Face Detailer: Как использовать Face Detailer ComfyUI

5.1 Face Detailer - Guide Size, Guide Size For, Max Size и BBX Crop Factor

Guide Size: Размер направляющей для BBX фокусирует Face Detailer на области лица в ограничивающей рамке (как показано в предпросмотре обрезанного улучшенного изображения). По умолчанию установлен на 256, это означает, что если область лица в ограничивающей рамке меньше 256 пикселей, система автоматически увеличивает ее до минимума в 256 пикселей.

Max Size: Максимальный размер устанавливает верхнюю границу для того, насколько большой может быть обрезанная область (как показано в предпросмотре обрезанного улучшенного изображения). Этот предел предотвращает чрезмерное увеличение области, что может привести к другим проблемам. По умолчанию максимальный размер составляет 768 пикселей.

Поддержание оптимального диапазона: Устанавливая эти параметры, мы сохраняем размер изображения в пределах от 256 до 768 пикселей, что идеально для Checkpoint SD 1.5. Однако, если вы переключитесь на модель Checkpoint SDXL, известную лучшей производительностью с большими изображениями, может быть полезно настроить guide size на 512 и max size на 1024. Это стоит попробовать.

Guide Size for: Под размером направляющей есть опция "guide size for bbox". Это позволяет сместить фокус на область обрезки, которая больше, чем область лица в ограничивающей рамке.

BBX Crop Factor: Коэффициент обрезки BBX в настоящее время установлен на 3. Уменьшение коэффициента обрезки до 1,0 означает меньшую область обрезки, равную области лица. При установке на 3 это означает, что область обрезки в 3 раза больше области лица.

Суть настройки коэффициента обрезки заключается в нахождении баланса между предоставлением достаточного фокуса для Face Detailer и обеспечением достаточного пространства для контекстного смешивания. Установка на 3 означает, что область обрезки включает немного больше окружающего контекста, что обычно полезно. Однако при принятии решения о подходящей настройке также следует учитывать размер лица на изображении.

5.2 Face Detailer - Feather

Настройка Feather определяет степень, до которой края изображения или области, подвергшиеся инпейнтингу, плавно сливаются с остальной частью изображения. Я обычно устанавливаю его на пять, что хорошо работает в большинстве случаев. Однако, если вы заметите, что инпейнтинг на ваших изображениях имеет особенно резкие края, возможно, стоит увеличить это значение. Поскольку в этом примере мы не наблюдаем резких краев, нет необходимости его настраивать.

5.3 Face Detailer - Noise Mask

Активация Noise Mask эффективно направляет модель на фокусировку шумов и операций по удалению шумов исключительно на маскированной области. Это преобразует ограничивающую рамку в маску, которая точно указывает области, где применяется шум и затем очищается. Эта функция особенно важна при работе с Segm детекторами и моделями Sam.

5.4 Face Detailer - Force Inpainting

Force Inpaint функционирует как специализированный инструмент для улучшения определенных областей изображения дополнительными деталями. Часто мы фокусируемся на лицах на изображениях. Бывают случаи, когда автоматическая система может не добавить достаточно деталей к этим лицам, ошибочно полагая, что они уже достаточно детализированы. Это идеальный сценарий для использования Force Inpaint.

По сути, Force Inpaint идеально подходит для увеличения деталей в определенных областях вашего изображения, особенно когда автоматические настройки не справляются.

5.5 Face Detailer - Drop Size

Особенно полезная в сценариях замены нескольких лиц, настройка drop size инструктирует модель игнорировать маски меньше указанного размера, например, 10 пикселей. Эта функция бесценна в переполненных сценах, где фокусируется на больших лицах.

5.6 Face Detailer - BBox Related Features

BBox Threshold: Порог bbox играет ключевую роль в тонкой настройке модели обнаружения лиц. Выбор более низкого числа означает более прощающий процесс обнаружения. Модель оценивает изображение, присваивая проценты уверенности потенциальным лицам. Изменение порога изменяет уровень уверенности, необходимый модели для признания и замены лица.

Рассмотрим изображение, на котором на заднем плане находятся маски, а на переднем плане человек. Модель может спутать маски с лицами. В таких случаях вы можете увеличить порог, чтобы она распознала и сосредоточилась на четко определенном лице, а не на масках. Наоборот, чтобы заменить несколько лиц в толпе, где лица менее явные, снижение порога bbox может помочь в идентификации этих менее очевидных лиц.

BBox Dilation: Настройка bbox dilation позволяет расширить область за пределами начальной области обрезки, обычно ограниченной лицом. Увеличение dilation включает больше областей вокруг лица в процессе замены. Однако эти изменения часто носят тонкий характер и могут потребовать настройки коэффициента обрезки для более заметных результатов.

BBX Crop Factor: Уже упомянут в 4.1

5.7 Face Detailer - Segm/Sam Related Features

Segm/Sam уточняет традиционную ограничивающую рамку в более точную маску, повышая точность замены лица. Эта точность особенно полезна в сценариях, когда ограничивающая рамка пересекается с волосами, и вы предпочитаете не изменять волосы. Используя модель Sam, вы можете сосредоточить замену только на лице.

Sam Detection Hint: Подсказка Sam detection hint является критической настройкой. Она направляет модель на то, где сосредоточиться при идентификации лиц. У вас есть несколько вариантов, включая Center, Horizontal (одно или два лица), Vertical (два лица), и расположения для четырех лиц в прямоугольной или ромбовидной формациях.

Sam Dilation: Подобно bbox dilation, настройка Sam dilation регулирует область за пределами маски или фокальной точки, которую модель будет заменять. Увеличение этого dilation расширяет область маски обратно к форме коробки.

Sam Threshold: Установленный на высоком уровне 93%, порог Sam функционирует подобно своему аналогу в ограничивающей рамке, но требует более высокого уровня уверенности из-за точности модели.

Sam Box Expansion: Эта настройка тонко настраивает начальную ограничивающую рамку, еще больше определяя область лица. Увеличение расширения коробки полезно, когда начальная ограничивающая рамка слишком ограничена, позволяя модели захватывать больше лица.

Sam Mask Hint Threshold: Работая в тандеме с Sam detection hint, эта настройка определяет агрессивность модели в ответ на подсказку. Значение по умолчанию - 0.7.

С этой информацией у вас должно быть гораздо более глубокое понимание работы face detailer.

6. Другие улучшения

6.1 Two Pass Refine с Face Detailer (Pipe)

Интеграция двух FaceDetailers для настройки в два прохода возможна; просто перенесите Face Detailer в FaceDetailerPipe.

В конфигурации с одним проходом (1pass) основное внимание уделяется восстановлению базового контура. Это требует использования умеренного разрешения с минимальными опциями. Однако расширение dilation здесь может быть полезным, так как оно охватывает не только черты лица, но и окружающие области. Эта техника особенно полезна, когда восстановление выходит за пределы только лицевой части. Вы можете экспериментировать по мере необходимости.

6.2 Масштабирование видео с использованием 4x-UltraSharp

Для достижения еще лучших результатов можно использовать узел ultra sharp для масштабирования. Изменяя размер изображения и выбирая подходящий масштабатор, вы можете значительно улучшить качество изображения.

7. Запустите Face Detailer ComfyUI Workflow бесплатно

Вот и все! С Face Detailer ComfyUI Workflow вы теперь можете исправлять лица в любом видео и анимации!

Хотите попробовать Face Detailer ComfyUI Workflow, который мы обсудили? Обязательно рассмотрите возможность использования RunComfy, облачной среды, оснащенной мощным GPU. Она полностью подготовлена и включает все, что связано с ComfyUI Impact Pack - Face Detailer, от моделей до пользовательских узлов. Никакой ручной настройки не требуется! Это ваша игровая площадка для освобождения творческой искры.

Автор: Редакторы RunComfy

Наша команда редакторов работает с ИИ уже более 15 лет, начиная с NLP/Vision в эпоху RNN/CNN. Мы накопили огромный опыт в области AI Chatbot/Art/Animation, таких как BERT/GAN/Transformer и т.д. Свяжитесь с нами, если вам нужна помощь в создании AI искусства, анимации и видео.