Руководство по использованию ComfyUI Reactor для замены лиц в видео

Привет, любители AI-анимации! Мы отправляемся в увлекательное путешествие в мир замены лиц с помощью ComfyUI. Здесь мы представляем вам рабочий процесс ComfyUI Reactor, позволяющий заменить одно или несколько лиц в видео!

Мы рассмотрим:

1. Roop vs. Reactor
2. Что такое ComfyUI Reactor?
3. Как использовать Reactor в ComfyUI?
   • Настройка ваших изображений
   • Модель замены лиц
   • Обнаружение лиц
   • Восстановление лиц
   • Видимость восстановления лиц и вес CodeFormer (Fidelity)
   • Обнаружение полов
   • Введение индекса лиц для одиночной или множественной замены лиц в видео
4. Умная интерполяция кадров при необходимости
5. Изменение размера и доработка при необходимости

1. Roop vs. Reactor

Думаю, некоторые из вас использовали расширение Roop в Automatic 1111 для таких творческих экспериментов, но код для Roop больше не поддерживается. Дизайнеры движения и аниматоры принимают нового чемпиона замены лиц - ReActor в ComfyUI. Этот инструмент не просто обновление от Roop; это настоящая революция. ReActor превратил замену лиц в бесшовную и захватывающую часть вашего творческого набора инструментов.

Итак, почему ReActor стал новым фаворитом для замены лиц? Вот краткий обзор:

• Замена лиц в высоком разрешении с масштабированием: Прощайте, размытые изображения, и здравствуйте, кристально чистые, четкие визуальные эффекты.
• Дружественность к CPU: Нет необходимости в мощном GPU, что делает его доступным для большего числа пользователей.
• Универсальная совместимость: Работает как часы с моделями SDXL и 1.5 – это как иметь универсальный пульт для замены лиц!
• Умное обнаружение: Автоматическое обнаружение пола и возраста означает, что он точно знает, кто есть кто в вашем видео.
• Нецензурированное творчество: Без фильтра NSFW ваше творчество может действительно разгуляться.
• Постоянные улучшения: ReActor продолжает становиться умнее и лучше, как хорошее вино, которое с годами становится только лучше.

Теперь давайте не просто говорить об этом; давайте погрузимся в то, как использовать Reactor в ComfyUI и как настроить параметры в Reactor! С ReActor ваши творческие возможности безграничны.

2. Что такое ComfyUI Reactor?

ComfyUI Reactor - это быстрый и простой узел расширения для замены лиц в ComfyUI. Он использует несколько моделей для облегчения обнаружения лиц, замены лиц и восстановления лиц, при этом оставаясь простым в использовании.

3. Как использовать Reactor в ComfyUI?

Хорошо, давайте погрузимся в захватывающий процесс создания вашего рабочего процесса. С Reactor вы сможете добавить невероятные эффекты замены лиц в ваши анимации.

3.1 Настройка ваших изображений

Прежде всего, вам нужно выбрать ваше "исходное изображение" - думайте об этом как о доноре лица. Затем выберите ваше "входное изображение" – это счастливый получатель нового лица.

3.2 Модель замены лиц

Мы уже скачали inswapper_128.onnx модель, предварительно обученные модели inswapper_128.onnx, которые предоставлены InsightFace.

3.3 Обнаружение лиц

Обнаружение лиц – это как иметь цифрового детектива, который определяет лица как на исходных, так и на входных изображениях. У нас есть множество детективов - resnet50, mobile0.25, YOLOv5l и YOLOv5n. Но наш выбор - retinaface_resnet50. Его производительность отличная.

3.4 Восстановление лиц

Здесь вы можете выбрать модель для восстановления лиц. Некоторые предпочитают GF PGN, но попробуйте Code Forer - он тоже отличный!

3.5 Видимость восстановления лиц и вес CodeFormer (Fidelity)

Эти настройки похожи на настройку вашей гитары. Значения по умолчанию - 1.00 для видимости и 0.75 для веса CodeFormer, но не стесняйтесь экспериментировать и смотреть, какие мелодии вы можете создать.

3.6 Обнаружение полов? Возможно, нет

Опция "обнаружение полов" решает, хотите ли вы, чтобы модель определяла пол на изображениях. ReActor заменит лицо только если оно соответствует заданному условию. По моему опыту, установка на "нет" дает отличные результаты. Это как сказать модели: "Все внимание на лицо, модель!"

3.7 Введение индекса лиц

Индекс лиц помогает системе идентифицировать каждое лицо на ваших изображениях. Лица помечены слева направо и сверху вниз на своих изображениях. Таким образом, система точно знает, кто есть кто.

3.7.1 Настройка для замены одного лица

Есть только одно лицо для замены? Легко! Как исходное лицо, так и входное лицо будут иметь индекс 0.

3.7.2 Настройка для замены нескольких лиц

Теперь, если вы хотите заменить несколько лиц, вот как это сделать:

Замена нескольких лиц на отдельных изображениях

• При работе с персонажем слева на вашей анимации установите как индекс исходного лица, так и индекс входного лица на 0. Это указывает Reactor: "Используйте исходное изображение для замены левого персонажа на входном изображении."
• Для персонажа справа установите индекс исходного лица на 0, а индекс входного лица на 1. Это указывает Reactor: "Используйте исходное изображение для замены правого персонажа на входном изображении."
• Не забывайте, если каждый персонаж на отдельном изображении, вам потребуется два набора узлов Reactor.

Замена нескольких лиц на одном изображении

• Если у вас есть изображение с двумя персонажами, одного узла Reactor будет достаточно.
• Вот где становится весело. Вы можете смешивать и подбирать лица. Допустим, вы хотите заменить второе лицо на входном изображении (это индекс = 1) первым лицом на исходном изображении (индекс = 0), и вы хотите заменить первое лицо на входном изображении (это индекс = 0) вторым лицом на исходном изображении (индекс = 1). Все, что вам нужно сделать, это установить ваши индексы следующим образом: Source - 0,1; Input - 1,0.

4. Умная интерполяция кадров при необходимости

Вот полезный совет - рассмотрите возможность использования интерполятора кадров. Представьте это как машину времени для ваших видеокадров. Она творит чудеса, уменьшая количество кадров, которые вам нужно обработать изначально, а затем блестяще восстанавливает их позже. Это особенно полезно, если вам пришлось пожертвовать качеством вашего видео ради более быстрой обработки. Думайте об этом шаге как о волшебной палочке, которая помогает вернуть утраченную четкость и детализацию.

5. Изменение размера и доработка при необходимости

Вы также можете изменить размер ваших видеокадров перед передачей их интерполятору. Хотя достичь качества оригинального файла сложно, это, безусловно, лучше, чем ничего.

Автор: Редакторы RunComfy

Наша команда редакторов работает с AI более 15 лет, начиная с NLP/ Vision в эпоху RNN/ CNN. Мы накопили огромный опыт в области AI Chatbot/ Art/ Animation, таких как BERT/ GAN/ Transformer и другие. Свяжитесь с нами, если вам нужна помощь в создании AI искусства, анимации и видео.