Flux & 10 моделей In-Context LoRA

Проект In-Context LoRA (IC-LoRA), разработанный Лянхуа Хуаном, Вэй Ваном, Чжи-Фан Ву и их соавторами из Tongyi Lab, представляет собой революционный подход к независимой от задачи генерации изображений с использованием диффузионных трансформеров (DiTs). Их инновационная структура использует возможности генерации в контексте DiTs, вводя минимальную настройку и упрощенный конвейер, что позволяет эффективно настраивать задачи с небольшими наборами данных. Чтобы узнать больше об их работе и получить доступ к их ресурсам, посетите официальный репозиторий на .

1. О In-Context LoRA (IC-LoRA)

In-Context LoRA (IC-LoRA) — это мощная и гибкая структура, которая позволяет существующим моделям диффузионных трансформеров текст-к-изображению выполнять широкий спектр задач генерации изображений с минимальным дополнительным обучением. Основная идея In-Context LoRA заключается в использовании врожденных возможностей обучения в контексте этих моделей, предоставляя им тщательно подобранные обучающие данные и используя простой, но эффективный подход к тонкой настройке.

Вот как работает In-Context LoRA в двух словах:

1. Конкатенация изображений: Вместо генерации отдельных изображений IC-LoRA объединяет набор связанных элементов в один большой композит. Это позволяет модели изучать отношения и согласованность, необходимые для всего набора.
2. Инженерия запросов: Текстовые запросы для набора также объединяются в один запрос. Этот запрос начинается с общего описания набора, за которым следуют конкретные детали для каждого отдельного элемента. Создавая запрос таким образом, модель может понять как высокоуровневую задачу, так и низкоуровневые требования.
3. Низкоранговая адаптация (LoRA): Вместо того чтобы тонко настраивать всю модель диффузии, что было бы вычислительно затратным, IC-LoRA использует LoRA для адаптации модели к каждой конкретной задаче. LoRA обучает только небольшой набор вспомогательных параметров, оставляя исходные веса модели неизменными. Это делает процесс тонкой настройки гораздо более эффективным.
4. Небольшие обучающие наборы данных: Еще одно ключевое прозрение IC-LoRA состоит в том, что для активации возможностей обучения в контексте не нужны огромные наборы данных. Всего 20-100 высококачественных наборов изображений на задачу достаточно, чтобы достичь впечатляющих результатов. Это значительно снижает нагрузку на сбор данных и вычисления.

Прелесть In-Context LoRA заключается в том, что это независимая от задач структура. Тот же подход можно применить к широкому спектру задач, таких как генерация раскадровок, дизайн шрифтов, дизайн продуктов, визуальные эффекты и многое другое. Предоставляя данные для обучения, специфичные для задачи, IC-LoRA может адаптироваться к каждой задаче без необходимости изменения самой архитектуры модели.

2. 10 моделей In-Context LoRA и их рекомендуемые настройки

3. Использование Flux и In-Context LoRA в ComfyUI

Этот рабочий процесс Flux и In-Context LoRA использует мощное сочетание модели Flux и In-Context LoRA для генерации набора связанных изображений на основе текстового запроса. Давайте разберем, как это работает шаг за шагом.

3.1. Предварительно загруженные модели Flux и In-Context LoRA для эффективного рабочего процесса

Наша платформа уже имеет модель Flux и 10 моделей In-Context LoRA, готовых к использованию. Это упрощает ваш рабочий процесс и экономит ваше время. Просто выберите нужную группу и начните создавать.

3.2. Создание идеального запроса на основе предустановленных запросов

Самая важная часть этого рабочего процесса — это текстовое описание, которое захватывает основную идею, которую вы хотите создать. Мы уже написали запросы для каждой модели In-Context LoRA в списке, упомянутом ранее. Когда вы пишете свой собственный запрос, используйте эти примеры в качестве руководства.

3.3. Настройка разрешения и размеров

Чтобы создать визуализации, которые идеально соответствуют вашим потребностям, измените настройки ширины и высоты, чтобы они соответствовали нужному размеру. Мы также предоставили рекомендуемые размеры каждой модели In-Context LoRA, которые вы можете использовать в качестве отправной точки.

3.4. Flux Sampler

Узел Flux Sampler управляет процессом выборки Flux и оптимизирует параметры генерации для достижения лучших результатов. Ключевые параметры включают:

• Seed (1): Значение seed обеспечивает постоянные результаты при одинаковых настройках. Изменение seed позволяет генерации Flux создавать разнообразные результаты.
• Steps (50): Этот параметр определяет количество шагов в процессе выборки Flux. Большее количество шагов улучшает качество, но требует больше времени на обработку. Здесь 50 шагов предлагают сбалансированный вариант.
• Guidance (3): Определяет силу руководства. Более высокие значения (например, 3) делают выходной результат, сгенерированный Flux, более близким к входным запросам, обеспечивая точное представление вашего намерения.
• Max Shift (null): Этот параметр определяет максимальное смещение или диапазон трансформации. Настройка "null" указывает на использование диапазона по умолчанию или неограниченного диапазона.
• Base Shift (null): Подобно max shift, он регулирует базовую силу трансформации. Установка его на "null" применяет конфигурацию по умолчанию.
• Denoise (1): Регулирует силу удаления шума во время генерации Flux. Значение 1 применяет легкое удаление шума, эффективно устраняя незначительные несоответствия, сохраняя при этом ясность.

Сочетание Flux и In-Context LoRA открывает мир возможностей для создания интересного визуального контента. Попробуйте эти новые модели и раскройте свою креативность, как никогда раньше.

Лицензия

Просмотр файлов лицензий:

Модель FLUX.1 [dev] лицензирована Black Forest Labs. Inc. по лицензии FLUX.1 [dev] Non-Commercial License. Авторское право Black Forest Labs. Inc.

НИ В КАКОМ СЛУЧАЕ BLACK FOREST LABS, INC. НЕ НЕСЕТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ПРЕТЕНЗИИ, УЩЕРБ ИЛИ ИНЫЕ ОБЯЗАННОСТИ, БУДЬ ТО В РЕЗУЛЬТАТЕ ДОГОВОРА, ДЕЛИКТА ИЛИ ИНЫМ ОБРАЗОМ, ВОЗНИКАЮЩИЕ ИЗ ИЛИ В СВЯЗИ С ИСПОЛЬЗОВАНИЕМ ЭТОЙ МОДЕЛИ.