Omost | Улучшите Создание Изображений

1. Что такое Omost?

Omost, сокращение от "Ваше изображение почти готово!", это инновационный проект, который преобразует возможности кодирования моделей больших языков (LLM) в создание изображений, точнее, в способности компоновки изображений. Название "Omost" имеет двойное значение: оно подразумевает, что каждый раз, когда вы используете Omost, ваше изображение почти завершено, и также означает "omni" (мультимодальный) и "most" (максимальная отдача).

Omost предоставляет предварительно обученные модели LLM, которые генерируют код для компоновки визуального контента изображения с использованием виртуального агента Canvas от Omost. Этот холст затем может быть отрендерен с помощью конкретных реализаций генераторов изображений для создания финальных изображений. Omost предназначен для упрощения и улучшения процесса создания изображений, делая его доступным и эффективным для AI-художников.

2. Как работает Omost

2.1. Холст и Описания

Omost использует виртуальный холст, на котором описываются и размещаются элементы изображения. Холст разделен на сетку из 9x9=81 позиций, что позволяет точно размещать элементы. Эти позиции дополнительно уточняются в рамки, предоставляя 729 различных возможных местоположений для каждого элемента. Этот структурированный подход обеспечивает точное и последовательное размещение элементов.

2.2. Глубина и Цвет

Элементам на холсте присваивается параметр distance_to_viewer, который помогает сортировать их по слоям от фона к переднему плану. Этот параметр действует как относительный индикатор глубины, обеспечивая, чтобы ближние элементы появлялись перед теми, которые находятся дальше. Кроме того, параметр HTML_web_color_name предоставляет грубое цветовое представление для начального рендеринга, которое может быть уточнено с использованием моделей диффузии. Этот начальный цвет помогает визуализировать композицию перед тонкой настройкой.

2.3. Инженерия Подсказок

Omost использует суб-подсказки, которые являются краткими, автономными описаниями элементов, для генерации детализированных и согласованных композиций изображений. Каждая суб-подсказка содержит менее 75 токенов и описывает элемент независимо. Эти суб-подсказки объединяются в полные подсказки для обработки LLM, обеспечивая, чтобы генерируемые изображения были точными и семантически насыщенными. Этот метод обеспечивает эффективное кодирование текста и предотвращает ошибки семантического усечения.

2.4. Региональные Подсказки

Omost реализует продвинутые техники манипулирования вниманием для обработки региональных подсказок, обеспечивая, чтобы каждая часть изображения генерировалась точно в соответствии с заданными описаниями. Техники, такие как манипуляция оценками внимания, обеспечивают, что активации внутри маскированных областей усиливаются, в то время как те, что снаружи, подавляются. Этот точный контроль над вниманием приводит к высококачественному, регионально специфическому созданию изображений.

3. Подробное Объяснение Узлов ComfyUI Omost

3.1. Узел Загрузки Omost LLM

Входные параметры узла загрузки Omost LLM

• llm_name: Название предварительно обученной модели LLM для загрузки. Доступные опции включают:
  • lllyasviel/omost-phi-3-mini-128k-8bits
  • lllyasviel/omost-llama-3-8b-4bits
  • lllyasviel/omost-dolphin-2.9-llama3-8b-4bits

Этот параметр указывает, какую модель загрузить, каждая из которых предлагает различные возможности и оптимизации.

Выходные параметры узла загрузки Omost LLM

• OMOST_LLM: Загруженная модель LLM.

Этот выход предоставляет загруженную LLM, готовую для генерации описаний и композиций изображений.

3.2. Узел Чата Omost LLM

Входные параметры узла чата Omost LLM

• llm: Модель LLM, загруженная с помощью OmostLLMLoader.
• text: Текстовая подсказка для генерации изображения. Это основной вход, где вы описываете сцену или элементы, которые хотите сгенерировать.
• max_new_tokens: Максимальное количество новых токенов для генерации. Это контролирует длину генерируемого текста, с большим числом, позволяющим более детальные описания.
• top_p: Контролирует разнообразие генерируемого вывода. Значение, близкое к 1.0, включает более разнообразные возможности, в то время как более низкое значение фокусируется на наиболее вероятных исходах.
• temperature: Контролирует случайность генерируемого вывода. Более высокие значения приводят к более случайным выводам, в то время как более низкие значения делают вывод более детерминированным.
• conversation (Опционально): Контекст предыдущего разговора. Это позволяет модели продолжить с предыдущих взаимодействий, сохраняя контекст и согласованность.

Выходные параметры узла чата Omost LLM

• OMOST_CONVERSATION: История разговора, включая новый ответ. Это помогает отслеживать диалог и сохранять контекст в течение нескольких взаимодействий.
• OMOST_CANVAS_CONDITIONING: Генерированные параметры кондиционирования холста для рендеринга. Эти параметры определяют, как элементы размещаются и описываются на холсте.

3.3. Узел Рендеринга Кондиционирования Холста Omost

Входные параметры узла рендеринга кондиционирования холста Omost

• canvas_conds: Параметры кондиционирования холста. Эти параметры включают детализированные описания и позиции элементов на холсте.

Выходные параметры узла рендеринга кондиционирования холста Omost

• IMAGE: Сгенерированное изображение на основе кондиционирования холста. Этот выход является визуальным представлением описанной сцены, сгенерированной из параметров кондиционирования.

3.4. Узел Кондиционирования Макета Omost

Входные параметры узла кондиционирования макета Omost

• canvas_conds: Параметры кондиционирования холста.
• clip: Модель CLIP для кодирования текста. Эта модель кодирует текстовые описания в векторы, которые могут быть использованы генератором изображений.
• global_strength: Сила глобального кондиционирования. Это контролирует, насколько сильно общее описание влияет на изображение.
• region_strength: Сила регионального кондиционирования. Это контролирует, насколько сильно конкретные региональные описания влияют на их соответствующие области.
• overlap_method: Метод обработки перекрывающихся областей (например, overlay, average). Это определяет, как смешивать перекрывающиеся области на изображении.
• positive (Опционально): Дополнительное положительное кондиционирование. Это может включать дополнительные подсказки или условия для улучшения конкретных аспектов изображения.

Выходные параметры узла кондиционирования макета Omost

• CONDITIONING: Параметры кондиционирования для создания изображений. Эти параметры направляют процесс создания изображений, обеспечивая соответствие вывода описанной сцене.
• MASK: Маска, используемая для кондиционирования. Это помогает в отладке и применении дополнительных условий к конкретным регионам.

3.5. Узел Загрузки Кондиционирования Холста Omost

Входные параметры узла загрузки кондиционирования холста Omost

• json_str: JSON-строка, представляющая параметры кондиционирования холста. Это позволяет загружать предопределенные условия из JSON-файла.

Выходные параметры узла загрузки кондиционирования холста Omost

• OMOST_CANVAS_CONDITIONING: Загруженные параметры кондиционирования холста. Эти параметры инициализируют холст с конкретными условиями, готовыми для создания изображений.