OmniGen | Изображение-в-изображение

Узлы и связанный с ними рабочий процесс полностью разработаны AIFSH и saftle. Мы выражаем полное уважение AIFSH и saftle за эту инновационную работу. На платформе RunComfy мы просто представляем вклад AIFSH и saftle в сообщество. Важно отметить, что в настоящее время нет официальной связи или партнерства между RunComfy и AIFSH или saftle. Мы глубоко ценим работу AIFSH и saftle!

Рабочий процесс ComfyUI OmniGen позволяет вам манипулировать фотографией, изменяя одежду субъекта, фон, Виртуальная примерка одежды, Селфи с знаменитостью, добавлять или удалять элементы и многое другое. Вы можете добавить до 3 эталонных изображений для получения желаемых результатов.

OmniGen

OmniGen — это универсальная модель генерации изображений, разработанная для создания разнообразных визуалов из мультимодальных подсказок с простотой и гибкостью. В отличие от традиционных моделей, она устраняет необходимость в дополнительных модулях, таких как ControlNet, или этапах предварительной обработки, таких как оценка поз, позволяя получать прямой вывод через текстовые инструкции. Вдохновленная бесшовным подходом GPT к генерации текста, OmniGen позволяет пользователям легко настраивать ее для любой творческой или специализированной задачи с минимальными усилиями. Ее инновационная структура делает генерацию изображений более доступной, открывая безграничные возможности для визуального творчества. OmniGen — это шаг вперед в универсальной генерации изображений, вдохновляющий на следующую волну трансформирующих AI-инструментов.

1.1 Как использовать рабочий процесс OmniGen?

В этом рабочем процессе зеленые узлы слева являются входными для эталонных изображений и разрешений. Розовые и фиолетовые узлы в середине — это OmniGen unsampler и OmniGen Model Loader, а синий справа — это узел сохранения изображения.

1. Загрузите ваши эталонные изображения.
2. Введите ваше разрешение и подсказки
3. Нажмите Queue

Нет необходимости в настройке, все так просто.

1.2 Загрузка эталонных входных изображений

• Загрузите 1, 2 или до 3 эталонных изображений, таких как одежда, люди, знаменитости, животные и т.д.
• Эти изображения также будут использоваться в подсказках с триггерным словом как "image_1" , "image_2" и "image_3" соответственно.

1.3 Разрешение

• В этом узле установите разрешение для выходного изображения.
• При более высоком разрешении изображения (выше 1k) будет потребляться больше Vram, также могут возникнуть случаи двойных фигур или объектов.
• Вы можете изменить batch_size и seed для рандомизации в sampler для генерации вариаций.

1.4 OmniGen Sampler и подсказки

• Подсказка: Добавьте ваши подсказки на основе ваших эталонных изображений. Укажите входные изображения как "image_1" , "image_2" и "image_3".
  • Пример: Человек на image_1 носит куртку из image_2.
• num_inferene_step: Устанавливает количество шагов выборки для OmniGen, используйте значение около 25-35 для хороших результатов
• img_guidance_scale: Устанавливает вес/сила для эталонных изображений.
• max_input_image_size: Ограничивает разрешения входных данных.

1.5 Модели OmniGen

Модели загружаются из этого , в вашу папку comfyui/model/OmniGen вручную сервером runcomfy. Это может занять до 3-5 минут для создания локальной копии на вашем устройстве.

Вы можете загрузить другие модели OmniGen здесь, когда они будут выпущены.

OmniGen переопределяет генерацию изображений, предлагая унифицированный, гибкий подход, упрощающий рабочие процессы и устраняющий необходимость в дополнительных инструментах или предварительной обработке. Ее легкая настройка и мультимодальные возможности открывают новые возможности для творческих и специализированных задач. OmniGen задает тон для более доступной и инновационной визуальной генерации с помощью AI в будущем.