FLUX LoRA Обучение

FLUX LoRA завоевал огромную популярность в сообществе AI, особенно среди тех, кто стремится тонко настраивать AI модели с использованием своих собственных наборов данных. Этот подход позволяет легко адаптировать существующие модели FLUX к вашим уникальным наборам данных, делая их высоко кастомизируемыми и эффективными для широкого спектра творческих начинаний. Если вы уже знакомы с ComfyUI, использование рабочего процесса ComfyUI FLUX LoRA Обучения для обучения вашей модели FLUX LoRA будет простым. Рабочий процесс и связанные узлы были созданы Kijai, так что большое спасибо ему за его вклад! Посетите для получения дополнительной информации.

ComfyUI FLUX LoRA Обучение Учебник

Рабочий процесс ComfyUI FLUX LoRA Обучения - это мощный процесс, предназначенный для обучения моделей FLUX LoRA. Обучение с ComfyUI предлагает несколько преимуществ, особенно для пользователей, уже знакомых с его интерфейсом. С FLUX LoRA Обучением вы можете использовать те же модели, которые используются для вывода, что гарантирует отсутствие проблем совместимости при работе в одной и той же среде Python. Кроме того, вы можете создавать рабочие процессы для сравнения различных настроек, что улучшает процесс обучения. Этот учебник проведет вас через шаги по настройке и использованию FLUX LoRA Обучения в ComfyUI.

Мы рассмотрим:

1. Подготовка вашего набора данных для FLUX LoRA Обучения
2. Процесс FLUX LoRA Обучения
3. Выполнение FLUX LoRA Обучения
4. Как и где использовать модели FLUX и FLUX LoRA

1. Подготовка вашего набора данных для FLUX LoRA Обучения

При подготовке ваших данных для обучения FLUX LoRA Обучения важно иметь качественные изображения для вашего целевого объекта.

В этом примере мы обучаем модель FLUX LoRA для генерации изображений конкретного инфлюенсера. Для этого вам понадобится набор качественных изображений инфлюенсера в различных позах и обстановках. Удобный способ собрать эти изображения - использовать , который упрощает создание коллекции изображений, показывающих одного и того же персонажа в разных позах, при этом сохраняя их внешний вид неизменным. Для нашего набора данных для обучения мы выбрали пять качественных изображений инфлюенсера в различных позах и обстановках, чтобы обеспечить достаточную прочность набора данных для FLUX LoRA Обучения и научиться воспроизводить сложные детали, необходимые для получения последовательных и точных результатов.

Процесс получения данных для обучения

Пример данных для обучения

Вы также можете собрать свой собственный набор данных в зависимости от ваших конкретных потребностей——FLUX LoRA Обучение гибко и работает с различными типами данных.

2. Процесс FLUX LoRA Обучения

Рабочий процесс FLUX LoRA Обучения состоит из нескольких ключевых узлов, которые работают вместе для обучения и проверки вашей модели. Вот подробный обзор основных узлов, разделенных на три части: Набор данных, Настройки и Инициализация, и Обучение.

2.1. Настройка наборов данных для FLUX LoRA Обучения

Раздел Набор данных состоит из двух основных узлов, которые помогают вам настроить и кастомизировать ваши данные для обучения: TrainDatasetGeneralConfig и TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

Узел TrainDatasetGeneralConfig - это место, где вы определяете общие настройки для вашего набора данных для обучения в FLUX LoRA Обучении. Этот узел дает вам контроль над различными аспектами увеличения данных и предварительной обработки. Например, вы можете выбрать включить или отключить увеличение цвета, что может помочь улучшить способность модели обобщать различные цветовые вариации. Аналогично, вы можете включить увеличение переворота для случайного горизонтального переворачивания изображений, предоставляя более разнообразные образцы для обучения. Кроме того, у вас есть возможность перемешивать подписи, связанные с каждым изображением, вводя случайность и снижая переобучение. Параметр dropout подписей позволяет случайным образом пропускать подписи во время обучения, что может помочь модели стать более устойчивой к отсутствующим или неполным подписям.

2.1.2. TrainDatasetAdd

Узел TrainDatasetAdd - это место, где вы указываете детали каждого отдельного набора данных, который нужно включить в FLUX LoRA Обучение.

Входной каталог: Путь к набору данных для обучения

Чтобы максимально эффективно использовать этот узел, важно правильно организовать ваши данные для обучения. При использовании файлового браузера RunComfy разместите данные для обучения в каталоге /home/user/ComfyUI/input/{file-name}, где {file-name} - это значимое имя, которое вы присваиваете вашему набору данных.

После того как вы разместите ваши данные для обучения в соответствующем каталоге, вам нужно указать путь к этому каталогу в параметре image_dir узла TrainDatasetAdd. Это сообщает узлу, где найти ваши изображения для обучения.

Класс токен

Если ваш набор данных выигрывает от использования конкретных токенов класса или триггерных слов, вы можете ввести их в параметр class_tokens. Токены класса - это специальные слова или фразы, которые добавляются в начало каждой подписи и помогают направлять процесс генерации модели. Например, если вы обучаете на наборе данных различных видов животных, вы можете использовать токены класса, такие как "dog", "cat" или "bird", чтобы указать желаемое животное на генерируемых изображениях. Когда вы позже используете эти токены класса в своих запросах, вы можете контролировать, какие конкретные аспекты вы хотите, чтобы модель сгенерировала.

Установите разрешение (ширина и высота), размер пакета

В дополнение к параметрам image_dir и class_tokens, узел TrainDatasetAdd предоставляет несколько других опций для тонкой настройки вашего набора данных. Вы можете установить разрешение (ширину и высоту) изображений, указать размер пакета для обучения и определить количество раз, которое набор данных должен быть повторен за эпоху.

Несколько наборов данных

Одной из мощных функций FLUX LoRA Обучения является возможность бесшовного объединения нескольких наборов данных. В рабочем процессе FLUX LoRA Обучения есть три узла TrainDatasetAdd, соединенные последовательно. Каждый узел представляет отдельный набор данных с уникальными настройками. Связывая эти узлы вместе, вы можете создать богатый и разнообразный набор данных для обучения, который включает изображения и подписи из различных источников.

Чтобы проиллюстрировать это, давайте рассмотрим сценарий, где у вас есть три отдельных набора данных: один для кошек, один для собак и другой для медведей. Вы можете настроить три узла TrainDatasetAdd, каждый из которых посвящен одному из этих наборов данных. В первом узле вы указываете путь к набору данных "cats" в параметре image_dir, устанавливаете class token на "cat" и настраиваете другие параметры, такие как разрешение и размер пакета, в соответствии с вашими потребностями. Аналогично, вы настраиваете второй и третий узлы для наборов данных "dogs" и "bears" соответственно.

Этот подход позволяет процессу FLUX LoRA Обучения использовать разнообразные изображения, улучшая способность модели обобщать различные категории.

Пример

В нашем примере мы используем только один набор данных для обучения модели, поэтому мы включаем один узел TrainDatasetAdd и обходим другие два. Вот как вы можете настроить это:

2.2. Настройки и инициализация

Раздел Настройки и инициализация - это место, где вы настраиваете основные компоненты и параметры для FLUX LoRA Обучения. Этот раздел включает несколько основных узлов, которые работают вместе для настройки вашей среды обучения.

2.2.1. FluxTrainModelSelect

Первый узел - FluxTrainModelSelect, который отвечает за выбор моделей FLUX, которые будут использоваться во время FLUX LoRA Обучения. Этот узел позволяет вам указать пути к четырем критическим моделям: трансформер, VAE (Вариационный автокодировщик), CLIP_L (Контрастное обучение языку-изображению) и T5 (Трансформер текст-к-тексту). Эти модели образуют основу процесса обучения FLUX, и все они настроены на платформе RunComfy.

2.2.2. OptimizerConfig

Узел OptimizerConfig является важным для настройки оптимизатора в рамках FLUX LoRA Обучения, который определяет, как параметры модели обновляются во время обучения. Вы можете выбрать тип оптимизатора (например, AdamW, CAME), установить максимальную норму градиента для обрезки градиента, чтобы предотвратить взрывающиеся градиенты, и выбрать планировщик скорости обучения (например, постоянный, косинусное затухание). Кроме того, вы можете тонко настроить параметры, специфичные для оптимизатора, такие как шаги разогрева и мощность планировщика, и предоставить дополнительные аргументы для дальнейшей настройки.

Если вы предпочитаете оптимизатор Adafactor, известный своей эффективностью использования памяти и способностью работать с большими моделями, вы можете использовать узел OptimizerConfigAdafactor вместо него.

2.2.3. InitFluxLoRATraining

Узел InitFluxLoRATraining - это центральный узел, где сходятся все основные компоненты, чтобы запустить процесс FLUX LoRA Обучения.

Выходной каталог: Путь к FLUX LoRA

Одним из ключевых моментов, который вам нужно указать в узле InitFluxLoRATraining, является выходной каталог, где будет сохранена ваша обученная модель. На платформе RunComfy вы можете выбрать /home/user/ComfyUI/output/{file_name} в качестве места для вашего выхода. После завершения обучения вы сможете просмотреть его в файловом браузере.

Размеры сети и скорости обучения

Далее вам нужно установить размеры сети и скорости обучения. Размеры сети определяют размер и сложность вашей сети LoRA, а скорости обучения контролируют, насколько быстро ваша модель учится и адаптируется.

Max train steps

Еще один важный параметр для рассмотрения - это max_train_steps. Он определяет, как долго вы хотите, чтобы процесс обучения длился, или, другими словами, сколько шагов вы хотите, чтобы ваша модель сделала, прежде чем она будет полностью готова. Вы можете настроить это значение в зависимости от ваших конкретных потребностей и размера вашего набора данных. Важно найти ту самую точку, где ваша модель научилась достаточно, чтобы производить отличные результаты!

2.3.4. FluxTrainValidationSettings

Наконец, узел FluxTrainValidationSettings позволяет вам настроить параметры проверки для оценки производительности вашей модели в процессе FLUX LoRA Обучения. Вы можете установить количество шагов проверки, размер изображения, масштаб направляющих и семя для воспроизводимости. Кроме того, вы можете выбрать метод выборки временных шагов и настроить параметры масштабирования и смещения сигмоида для управления расписанием временных шагов и улучшения качества генерируемых изображений.

3. Обучение

Раздел Обучение FLUX LoRA Обучения - это место, где происходит магия. Он разделен на четыре части: Train_01, Train_02, Train_03 и Train_04. Каждая из этих частей представляет собой разную стадию процесса FLUX LoRA Обучения, позволяя вам постепенно улучшать и совершенствовать вашу модель.

3.1. Train_01

Начнем с Train_01. Здесь происходит начальный цикл обучения. Главная звезда этого раздела - узел FluxTrainLoop, который отвечает за выполнение цикла обучения на определенное количество шагов. В этом примере мы настроили его на 250 шагов, но вы можете настроить это в зависимости от ваших потребностей. После завершения цикла обучения обученная модель передается узлу FluxTrainSave, который сохраняет модель через регулярные интервалы. Это гарантирует, что у вас есть контрольные точки вашей модели на разных стадиях обучения, что может быть полезно для отслеживания прогресса и восстановления после неожиданных прерываний.

Но обучение - это не только сохранение модели. Нам также нужно проверить ее производительность, чтобы увидеть, насколько хорошо она работает. Здесь на помощь приходит узел FluxTrainValidate. Он берет обученную модель и тестирует ее, используя набор данных для проверки. Этот набор данных отделен от данных для обучения и помогает оценить, насколько хорошо модель обобщает невидимые примеры. Узел FluxTrainValidate генерирует образцы изображений на основе данных для проверки, предоставляя вам визуальное представление о результатах модели на этой стадии.

Для отслеживания прогресса обучения у нас есть узел VisualizeLoss. Этот удобный узел визуализирует потери обучения с течением времени, позволяя вам видеть, насколько хорошо модель учится и приближается ли она к хорошему решению. Это как иметь личного тренера, который следит за вашим прогрессом и помогает вам оставаться на правильном пути.

3.2. Train_02, Train_03, Train_04

В **json

3.2. Train_02, Train_03, Train_04

В Train_02, продолжая с Train_01 в процессе FLUX LoRA Обучения, выходная модель продолжает обучение на дополнительное количество шагов (например, 250 шагов). Train_03 и Train_04 следуют аналогичной схеме, расширяя обучение с обновленными соединениями для плавного перехода. Каждая стадия выдает модель FLUX LoRA, позволяя вам тестировать и сравнивать производительность.

Пример

В нашем примере мы выбрали использовать только Train_01 и Train_02, каждый из которых выполняется по 250 шагов. Мы обошли Train_03 и Train_04 на данный момент. Но не стесняйтесь экспериментировать и настраивать количество секций обучения и шагов в зависимости от ваших конкретных потребностей и ресурсов.

4. Как и где использовать модели FLUX и FLUX LoRA

После того как у вас есть модель FLUX LoRA, вы можете интегрировать ее в . Замените существующую модель LoRA на вашу обученную модель, затем протестируйте результаты, чтобы оценить ее производительность.

Пример

В нашем примере мы используем рабочий процесс FLUX LoRA для генерации дополнительных изображений инфлюенсера, применяя модель FLUX LoRA и наблюдая ее производительность.

Лицензия

Просмотрите файлы лицензий:

Модель FLUX.1 [dev] лицензирована компанией Black Forest Labs. Inc. по лицензии FLUX.1 [dev] Non-Commercial License. Авторские права принадлежат Black Forest Labs. Inc.

НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ BLACK FOREST LABS, INC. НЕ НЕСЕТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ПРЕТЕНЗИИ, УБЫТКИ ИЛИ ИНЫЕ ВИДЫ ОТВЕТСТВЕННОСТИ, ВОЗНИКАЮЩИЕ В РЕЗУЛЬТАТЕ ИЛИ В СВЯЗИ С ИСПОЛЬЗОВАНИЕМ ЭТОЙ МОДЕЛИ.