ComfyUI FLUX: Руководство по установке, рабочим процессам, таким как FLUX-ControlNet, FLUX-LoRA и FLUX-IPAdapter... и онлайн-доступу

Привет, любители ИИ! 👋 Добро пожаловать в наше вводное руководство по использованию FLUX в ComfyUI. FLUX - это передовая модель, разработанная Black Forest Labs. 🌟 В этом руководстве мы погрузимся в основы ComfyUI FLUX, демонстрируя, как эта мощная модель может улучшить ваш творческий процесс и помочь вам расширить границы искусства, созданного ИИ. 🚀

Мы рассмотрим:

1. Введение в FLUX

2. Различные версии FLUX

3. Требования к оборудованию для FLUX

• 3.1. Требования к оборудованию для FLUX.1 [Pro]
• 3.2. Требования к оборудованию для FLUX.1 [Dev]
• 3.3. Требования к оборудованию для FLUX.1 [Schnell]

4. Как установить FLUX в ComfyUI

• 4.1. Установка или обновление ComfyUI
• 4.2. Загрузка текстовых энкодеров и моделей CLIP для ComfyUI FLUX
• 4.3. Загрузка модели VAE FLUX.1
• 4.4. Загрузка модели UNET FLUX.1

5. Рабочий процесс ComfyUI FLUX | Загрузка, онлайн-доступ и руководство

• 5.1. Рабочий процесс ComfyUI: FLUX Txt2Img
• 5.2. Рабочий процесс ComfyUI: FLUX Img2Img
• 5.3. Рабочий процесс ComfyUI: FLUX LoRA
• 5.4. Рабочий процесс ComfyUI: FLUX ControlNet
• 5.5. Рабочий процесс ComfyUI: FLUX Inpainting
• 5.6. Рабочий процесс ComfyUI: FLUX NF4 & Upscale
• 5.7. Рабочий процесс ComfyUI: FLUX IPAdapter
• 5.8. Рабочий процесс ComfyUI: Flux LoRA Trainer
• 5.9. Рабочий процесс ComfyUI: Flux Latent Upscale

1. Введение в FLUX

FLUX.1, передовая модель ИИ от Black Forest Labs, революционизирует способ создания изображений из текстовых описаний. Благодаря непревзойденной способности генерировать удивительно детализированные и сложные изображения, которые точно соответствуют входным запросам, FLUX.1 выделяется среди конкурентов. Секрет успеха FLUX.1 заключается в его уникальной гибридной архитектуре, которая сочетает различные типы блоков трансформаторов и работает на впечатляющих 12 миллиардах параметров. Это позволяет FLUX.1 создавать визуально захватывающие изображения, которые точно отражают текстовые описания с замечательной точностью.

Одним из самых захватывающих аспектов FLUX.1 является его универсальность в создании изображений в различных стилях, от фотореалистичных до художественных. FLUX.1 даже обладает замечательной способностью бесшовно интегрировать текст в созданные изображения, что многие другие модели не могут достичь. Более того, FLUX.1 известен своей исключительной приверженностью запросам, легко справляясь как с простыми, так и с сложными описаниями. Это привело к тому, что FLUX.1 часто сравнивают с другими известными моделями, такими как Stable Diffusion и Midjourney, причем FLUX.1 часто становится предпочтительным выбором благодаря своей удобности для пользователя и высококлассным результатам.

Впечатляющие возможности FLUX.1 делают его неоценимым инструментом для широкого спектра приложений, от создания потрясающего визуального контента и вдохновляющих инновационных дизайнов до содействия научной визуализации. Способность FLUX.1 создавать высоко детализированные и точные изображения из текстовых описаний открывает мир возможностей для творческих профессионалов, исследователей и энтузиастов. По мере того как область изображений, созданных ИИ, продолжает развиваться, FLUX.1 находится на переднем крае, устанавливая новый стандарт качества, универсальности и удобства использования.

Black Forest Labs, новаторская компания в области ИИ, стоящая за революционной FLUX.1, была основана Робином Ромбахом, известной фигурой в индустрии ИИ, который ранее был основным членом Stability AI. Если вы хотите узнать больше о Black Forest Labs и их революционной работе с FLUX.1, обязательно посетите их официальный сайт по адресу https://blackforestlabs.ai/.

2. Различные версии FLUX

FLUX.1 доступен в трех различных версиях, каждая из которых предназначена для удовлетворения специфических потребностей пользователей:

1. FLUX.1 [pro]: Это версия высшего уровня, которая предлагает наилучшее качество и производительность, идеально подходит для профессионального использования и высококлассных проектов.
2. FLUX.1 [dev]: Оптимизирован для некоммерческого использования, эта версия сохраняет высокое качество вывода, будучи более эффективной, что делает ее отличной для разработчиков и энтузиастов.
3. FLUX.1 [schnell]: Эта версия ориентирована на скорость и легкость, что делает ее идеальной для локальной разработки и личных проектов. Она также является открытым исходным кодом и доступна по лицензии Apache 2.0, поэтому доступна широкому кругу пользователей.

Название	Репозиторий HuggingFace	Лицензия	md5sum
FLUX.1 [pro]	Доступно только в нашем API.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. Требования к оборудованию для FLUX

3.1. Требования к оборудованию для FLUX.1 [Pro]

• Рекомендуемая видеокарта: NVIDIA RTX 4090 или эквивалент с 24 ГБ или более VRAM. Модель оптимизирована для высокопроизводительных видеокарт для обработки сложных операций.
• ОЗУ: 32 ГБ или более системной памяти.
• Место на диске: Примерно 30 ГБ.
• Требования к вычислениям: Требуется высокая точность; используйте FP16 (полуточность), чтобы избежать ошибок из-за нехватки памяти. Для наилучших результатов рекомендуется использовать вариант модели fp16 Clip для максимального качества.
• Прочие требования: Рекомендуется быстрый SSD для ускорения загрузки и общей производительности.

3.2. Требования к оборудованию для FLUX.1 [Dev]

• Рекомендуемая видеокарта: NVIDIA RTX 3080/3090 или эквивалент с минимум 16 ГБ VRAM. Эта версия немного менее требовательна к оборудованию по сравнению с Pro моделью, но все же требует значительной мощности видеокарты.
• ОЗУ: 16 ГБ или более системной памяти.
• Место на диске: Примерно 25 ГБ.
• Требования к вычислениям: Аналогично Pro, используйте модели FP16, но с небольшой допуском на меньшую точность вычислений. Можно использовать модели Clip fp16 или fp8 в зависимости от возможностей видеокарты.
• Прочие требования: Рекомендуется быстрый SSD для оптимальной производительности.

3.3. Требования к оборудованию для FLUX.1 [Schnell]

• Рекомендуемая видеокарта: NVIDIA RTX 3060/4060 или эквивалент с 12 ГБ VRAM. Эта версия оптимизирована для более быстрого вывода и меньших требований к оборудованию.
• ОЗУ: 8 ГБ или более системной памяти.
• Место на диске: Примерно 15 ГБ.
• Требования к вычислениям: Эта версия менее требовательна и допускает вычисления в fp8 при нехватке памяти. Она разработана для быстроты и эффективности, с акцентом на скорость, а не на ультра-высокое качество.
• Прочие требования: SSD полезен, но не так критичен, как в версиях Pro и Dev.

4. Как установить FLUX в ComfyUI

4.1. Установка или обновление ComfyUI

Для эффективного использования FLUX.1 в среде ComfyUI важно убедиться, что у вас установлена последняя версия ComfyUI. Эта версия поддерживает необходимые функции и интеграции для моделей FLUX.1.

4.2. Загрузка текстовых энкодеров и моделей CLIP для ComfyUI FLUX

Для оптимальной производительности и точного преобразования текста в изображение с использованием FLUX.1 вам потребуется загрузить определенные текстовые энкодеры и модели CLIP. Следующие модели необходимы в зависимости от аппаратного обеспечения вашей системы:

Название файла модели	Размер	Примечание	Ссылка
t5xxl_fp16.safetensors	9.79 ГБ	Для лучших результатов, если у вас высокая VRAM и RAM(более 32ГБ RAM).	Загрузить
t5xxl_fp8_e4m3fn.safetensors	4.89 ГБ	Для меньшего использования памяти (8-12ГБ)	Загрузить
clip_l.safetensors	246 МБ		Загрузить

Шаги для загрузки и установки:

1. Загрузите модель clip_l.safetensors.
2. В зависимости от VRAM и RAM вашей системы, загрузите либо t5xxl_fp8_e4m3fn.safetensors (для меньшего VRAM), либо t5xxl_fp16.safetensors (для большего VRAM и RAM).
3. Поместите загруженные модели в директорию ComfyUI/models/clip/. Примечание: Если вы ранее использовали SD 3 Medium, у вас уже могут быть эти модели.

4.3. Загрузка модели VAE FLUX.1

Модель вариационного автокодировщика (VAE) важна для улучшения качества генерации изображений в FLUX.1. Доступна следующая модель VAE для загрузки:

Название файла	Размер	Link
ae.safetensors	335 МБ	Загрузить (открывается в новой вкладке)

Шаги для загрузки и установки:

1. Загрузите файл модели ae.safetensors.
2. Поместите загруженный файл в директорию ComfyUI/models/vae.
3. Для удобства идентификации рекомендуется переименовать файл в flux_ae.safetensors.

4.4. Загрузка модели UNET FLUX.1

Модель UNET является основой для синтеза изображений в FLUX.1. В зависимости от характеристик вашей системы, вы можете выбрать различные варианты:

Название файла	Размер	Ссылка	Примечание
flux1-dev.safetensors	23.8 ГБ	Загрузить	Если у вас высокая VRAM и RAM.
flux1-schnell.safetensors	23.8 ГБ	Загрузить	Для меньшего использования памяти

Шаги для загрузки и установки:

1. Загрузите соответствующую модель UNET в зависимости от конфигурации памяти вашей системы.
2. Поместите загруженный файл модели в директорию ComfyUI/models/unet/.

5. Рабочий процесс ComfyUI FLUX | Загрузка, онлайн-доступ и руководство

Мы будем постоянно обновлять рабочий процесс ComfyUI FLUX, чтобы предоставить вам самые последние и полные рабочие процессы для создания потрясающих изображений с использованием ComfyUI FLUX.

5.1. Рабочий процесс ComfyUI: FLUX Txt2Img

5.1.1. ComfyUI FLUX Txt2Img: Загрузить

5.1.2. Онлайн-версия ComfyUI FLUX Txt2Img: ComfyUI FLUX Txt2Img

На платформе RunComfy наша онлайн-версия предварительно загружает все необходимые режимы и узлы для вас. Кроме того, мы предлагаем высокопроизводительные GPU машины, что гарантирует, что вы сможете наслаждаться опытом ComfyUI FLUX Txt2Img без особых усилий.

5.1.3. Объяснение ComfyUI FLUX Txt2Img:

Рабочий процесс ComfyUI FLUX Txt2Img начинается с загрузки основных компонентов, включая FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader) и FLUX VAE (VAELoader). Эти компоненты формируют основу процесса создания изображений ComfyUI FLUX.

• UNETLoader: Загружает модель UNET для создания изображений.
  • Контрольная точка: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Загружает модель CLIP для кодирования текста.
  • Модель вложения 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Модель вложения 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Группировка: Стратегия группировки для модели CLIP - flux
• VAELoader: Загружает вариационную автокодировочную модель (VAE) для декодирования латентных представлений.
  • Модель VAE: flux/ae.sft

Текстовый запрос, описывающий желаемый результат, кодируется с помощью CLIPTextEncode. Этот узел принимает текстовый запрос в качестве входных данных и выводит закодированное текстовое условие, которое направляет ComfyUI FLUX во время создания.

Для начала процесса создания ComfyUI FLUX создается пустое латентное представление с помощью EmptyLatentImage. Это служит начальной точкой для ComfyUI FLUX.

BasicGuider играет важную роль в направлении процесса создания ComfyUI FLUX. Он принимает закодированное текстовое условие и загруженный FLUX UNET в качестве входных данных, обеспечивая соответствие созданного результата предоставленному текстовому описанию.

KSamplerSelect позволяет выбрать метод выборки для создания ComfyUI FLUX, в то время как RandomNoise генерирует случайный шум в качестве входных данных для ComfyUI FLUX. BasicScheduler планирует уровни шума (сигмы) для каждого шага в процессе создания, контролируя уровень детализации и четкости в конечном результате.

SamplerCustomAdvanced объединяет все компоненты рабочего процесса ComfyUI FLUX Txt2Img. Он принимает случайный шум, направляющий узел, выбранный метод выборки, запланированные сигмы и пустое латентное представление в качестве входных данных. С помощью продвинутого процесса выборки он создает латентное представление, представляющее текстовый запрос.

Наконец, VAEDecode декодирует созданное латентное представление в конечный результат с использованием загруженной модели FLUX VAE. SaveImage позволяет сохранить созданный результат в указанное место, сохраняя потрясающее творение, сделанное возможным рабочим процессом ComfyUI FLUX Txt2Img.

5.2. Рабочий процесс ComfyUI: FLUX Img2Img

5.2.1. ComfyUI FLUX Img2Img: Загрузить

5.2.2. Онлайн-версия ComfyUI FLUX Img2Img: ComfyUI FLUX Img2Img

На платформе RunComfy наша онлайн-версия предварительно загружает все необходимые режимы и узлы для вас. Кроме того, мы предлагаем высокопроизводительные GPU машины, что гарантирует, что вы сможете наслаждаться опытом ComfyUI FLUX Img2Img без особых усилий.

5.2.3. Объяснение ComfyUI FLUX Img2Img:

Рабочий процесс ComfyUI FLUX Img2Img основывается на мощности ComfyUI FLUX для создания результатов на основе как текстовых запросов, так и входных представлений. Он начинается с загрузки необходимых компонентов, включая модель CLIP (DualCLIPLoader), модель UNET (UNETLoader) и модель VAE (VAELoader).

• UNETLoader: Загружает модель UNET для создания изображений.
  • Контрольная точка: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Загружает модель CLIP для кодирования текста.
  • Модель вложения 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Модель вложения 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Группировка: Стратегия группировки для модели CLIP - flux
• VAELoader: Загружает вариационную автокодировочную модель (VAE) для декодирования латентных представлений.
  • Модель VAE: flux/ae.sft

Входное представление, которое служит начальной точкой для процесса ComfyUI FLUX Img2Img, загружается с помощью LoadImage. Затем ImageScale масштабирует входное представление до нужного размера, обеспечивая совместимость с ComfyUI FLUX.

Масштабированное входное представление кодируется с помощью VAEEncode, преобразуя его в латентное представление. Это латентное представление захватывает основные особенности и детали входного представления, предоставляя основу для работы ComfyUI FLUX.

Текстовый запрос, описывающий желаемые модификации или улучшения входного представления, кодируется с помощью CLIPTextEncode. Затем FluxGuidance применяет руководство к условию на основе текста, влияя на силу влияния текстового запроса на конечный результат.

ModelSamplingFlux устанавливает параметры выборки для ComfyUI FLUX, включая пересчет временных шагов, коэффициент заполнения и размеры вывода. Эти параметры контролируют детализацию и разрешение создаваемого результата.

KSamplerSelect позволяет выбрать метод выборки для создания ComfyUI FLUX, в то время как BasicGuider направляет процесс создания на основе закодированного текстового условия и загруженной модели FLUX UNET.

Случайный шум генерируется с помощью RandomNoise, а BasicScheduler планирует уровни шума (сигмы) для каждого шага в процессе создания. Эти компоненты вводят контролируемые вариации и уточняют детали в конечном результате.

SamplerCustomAdvanced объединяет случайный шум, направляющий узел, выбранный метод выборки, запланированные сигмы и латентное представление входа. С помощью продвинутого процесса выборки он создает латентное представление, которое включает модификации, указанные в текстовом запросе, сохраняя при этом основные особенности входного представления.

Наконец, VAEDecode декодирует очищенное латентное представление в конечный результат с использованием загруженной модели FLUX VAE. PreviewImage отображает предварительный просмотр созданного результата, демонстрируя впечатляющие результаты, достигнутые с помощью рабочего процесса ComfyUI FLUX Img2Img.

5.3. Рабочий процесс ComfyUI: FLUX LoRA

5.3.1. ComfyUI FLUX LoRA: Загрузить

5.3.2. Онлайн-версия ComfyUI FLUX LoRA: ComfyUI FLUX LoRA

На платформе RunComfy наша онлайн-версия предварительно загружает все необходимые режимы и узлы для вас. Кроме того, мы предлагаем высокопроизводительные GPU машины, что гарантирует, что вы сможете наслаждаться опытом ComfyUI FLUX LoRA без особых усилий.

5.3.3. Объяснение ComfyUI FLUX LoRA:

Рабочий процесс ComfyUI FLUX LoRA использует возможности адаптации с низким рангом (LoRA) для повышения производительности ComfyUI FLUX. Он начинается с загрузки необходимых компонентов, включая модель UNET (UNETLoader), модель CLIP (DualCLIPLoader), модель VAE (VAELoader) и модель LoRA (LoraLoaderModelOnly).

• UNETLoader: Загружает модель UNET для создания изображений.
  • Контрольная точка: flux/flux1-dev.sft
• DualCLIPLoader: Загружает модель CLIP для кодирования текста.
  • Модель вложения 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Модель вложения 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Группировка: Стратегия группировки для модели CLIP - flux
• VAELoader: Загружает вариационную автокодировочную модель (VAE) для декодирования латентных представлений.
  • Модель VAE: flux/ae.sft
• LoraLoaderModelOnly: Загружает модель LoRA (адаптация с низким рангом) для улучшения модели UNET.
  • LoaderModel: flux/realism_lora.safetensors

Текстовый запрос, описывающий желаемый результат, указывается с помощью String Literal. Затем CLIPTextEncode кодирует текстовый запрос, создавая закодированное текстовое условие, которое направляет процесс создания ComfyUI FLUX.

FluxGuidance применяет руководство к закодированному текстовому условию, влияя на силу и направление приверженности ComfyUI FLUX текстовому запросу.

Пустое латентное представление, служащее начальной точкой для создания, создается с помощью EmptyLatentImage. Ширина и высота созданного результата указываются с помощью Int Literal, обеспечивая желаемые размеры конечного результата.

ModelSamplingFlux устанавливает параметры выборки для ComfyUI FLUX, включая коэффициент заполнения и пересчет временных шагов. Эти параметры контролируют разрешение и детализацию созданного результата.

KSamplerSelect позволяет выбрать метод выборки для создания ComfyUI FLUX, в то время как BasicGuider направляет процесс создания на основе закодированного текстового условия и загруженной модели FLUX UNET с улучшением FLUX LoRA.

Случайный шум генерируется с помощью RandomNoise, а BasicScheduler планирует уровни шума (сигмы) для каждого шага в процессе создания. Эти компоненты вводят контролируемые вариации и уточняют детали в конечном результате.

SamplerCustomAdvanced объединяет случайный шум, направляющий узел, выбранный метод выборки, запланированные сигмы и пустое латентное представление. С помощью продвинутого процесса выборки он создает латентное представление, представляющее текстовый запрос, используя возможности FLUX и улучшение FLUX LoRA.

Наконец, VAEDecode декодирует созданное латентное представление в конечный результат с использованием загруженной модели FLUX VAE. SaveImage позволяет сохранить созданный результат в указанное место, сохраняя потрясающее творение, сделанное возможным рабочим процессом ComfyUI FLUX LoRA.

5.4. Рабочий процесс ComfyUI: FLUX ControlNet

5.4.1. ComfyUI FLUX ControlNet: Загрузить

5.4.2. Онлайн-версия ComfyUI FLUX ControlNet: ComfyUI FLUX ControlNet

На платформе RunComfy наша онлайн-версия предварительно загружает все необходимые режимы и узлы для вас. Кроме того, мы предлагаем высокопроизводительные GPU машины, что гарантирует, что вы сможете наслаждаться опытом ComfyUI FLUX ControlNet без особых усилий.

5.4.3. Объяснение ComfyUI FLUX ControlNet:

Рабочий процесс ComfyUI FLUX ControlNet демонстрирует интеграцию ControlNet с ComfyUI FLUX для улучшенного создания результатов. В рабочем процессе представлены два примера: условие на основе глубины и условие на основе краев Canny.

• UNETLoader: Загружает модель UNET для создания изображений.
  • Контрольная точка: flux/flux1-dev.sft
• DualCLIPLoader: Загружает модель CLIP для кодирования текста.
  • Модель вложения 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Модель вложения 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Группировка: Стратегия группировки для модели CLIP - flux
• VAELoader: Загружает вариационную автокодировочную модель (VAE) для декодирования латентных представлений.
  • Модель VAE: flux/ae.sft

В рабочем процессе на основе глубины входное представление проходит предварительную обработку с использованием MiDaS-DepthMapPreprocessor, создавая карту глубины. Карта глубины затем проходит через ApplyFluxControlNet (Depth) вместе с загруженным FLUX ControlNet для условия на основе глубины. Полученное условие FLUX ControlNet служит входными данными для XlabsSampler (Depth) вместе с загруженным FLUX UNET, закодированным текстовым условием, отрицательным текстовым условием и пустым латентным представлением. XlabsSampler создает латентное представление на основе этих входных данных, которое затем декодируется в конечный результат с использованием VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Предварительно обрабатывает входное изображение для оценки глубины с использованием MiDaS.
• LoadFluxControlNet: Загружает модель ControlNet.
  • Путь: flux-depth-controlnet.safetensors

Аналогично, в рабочем процессе на основе краев Canny входное представление проходит предварительную обработку с использованием CannyEdgePreprocessor для создания краев Canny. Представление краев Canny затем проходит через ApplyFluxControlNet (Canny) вместе с загруженным FLUX ControlNet для условия на основе краев Canny. Полученное условие FLUX ControlNet служит входными данными для XlabsSampler (Canny) вместе с загруженным FLUX UNET, закодированным текстовым условием, отрицательным текстовым условием и пустым латентным представлением. XlabsSampler создает латентное представление на основе этих входных данных, которое затем декодируется в конечный результат с использованием VAEDecode.

• CannyEdgePreprocessor (Canny): Предварительно обрабатывает входное изображение для обнаружения краев Canny.
• LoadFluxControlNet: Загружает модель ControlNet.
  • Путь: flux-canny-controlnet.safetensors

Рабочий процесс ComfyUI FLUX ControlNet включает узлы для загрузки необходимых компонентов (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), кодирования текстовых запросов (CLIPTextEncodeFlux), создания пустых латентных представлений (EmptyLatentImage) и предварительного просмотра созданных и предварительно обработанных результатов (PreviewImage).

Используя возможности FLUX ControlNet, рабочий процесс ComfyUI FLUX ControlNet позволяет создавать результаты, которые соответствуют специфическим условиям, таким как карты глубины или края Canny. Этот дополнительный уровень контроля и руководства улучшает гибкость и точность процесса создания, позволяя создавать потрясающие и контекстуально релевантные результаты с использованием ComfyUI FLUX.

5.5. Рабочий процесс ComfyUI FLUX: Inpainting

5.5.1. ComfyUI FLUX Inpainting: Загрузить

5.5.2. Онлайн-версия ComfyUI FLUX Inpainting: ComfyUI FLUX Inpainting

На платформе RunComfy наша онлайн-версия предварительно загружает все необходимые режимы и узлы для вас. Кроме того, мы предлагаем высокопроизводительные GPU машины, что гарантирует, что вы сможете наслаждаться опытом ComfyUI FLUX Inpainting без особых усилий.

5.5.3. Объяснение ComfyUI FLUX Inpainting:

Рабочий процесс ComfyUI FLUX Inpainting демонстрирует способность ComfyUI FLUX выполнять инпейтинг, который включает заполнение отсутствующих или замаскированных областей результата на основе окружающего контекста и предоставленных текстовых запросов. Рабочий процесс начинается с загрузки необходимых компонентов, включая модель UNET (UNETLoader), модель VAE (VAELoader) и модель CLIP (DualCLIPLoader).

• UNETLoader: Загружает модель UNET для создания изображений.
  • Контрольная точка: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Загружает модель CLIP для кодирования текста.
  • Модель вложения 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Модель вложения 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Группировка: Стратегия группировки для модели CLIP - flux
• VAELoader: Загружает вариационную автокодировочную модель (VAE) для декодирования латентных представлений.
  • Модель VAE: flux/ae.sft

Положительные и отрицательные текстовые запросы, описывающие желаемое содержание и стиль для инпейнтированной области, кодируются с помощью CLIPTextEncodes. Положительное текстовое условие дополнительно направляется с помощью FluxGuidance для влияния на процесс инпейнтинга ComfyUI FLUX.

Входное представление и маска загружаются и изменяют размер с помощью LoadAndResizeImage, обеспечивая совместимость с требованиями ComfyUI FLUX. ImpactGaussianBlurMask применяет гауссово размытие к маске, создавая плавный переход между инпейнтированной областью и оригинальным представлением.

InpaintModelConditioning подготавливает условие для инпейнтинга FLUX, комбинируя направленное положительное текстовое условие, закодированное отрицательное текстовое условие, загруженный FLUX VAE, загруженное и измененное входное представление и размытую маску. Это условие служит основой для процесса инпейнтинга ComfyUI FLUX.

Случайный шум генерируется с помощью RandomNoise, а метод выборки выбирается с помощью KSamplerSelect. BasicScheduler планирует уровни шума (сигмы) для процесса инпейнтинга ComfyUI FLUX, контролируя уровень детализации и четкости в инпейнтированной области.

BasicGuider направляет процесс инпейнтинга ComfyUI FLUX на основе подготовленного условия и загруженной модели FLUX UNET. SamplerCustomAdvanced выполняет продвинутый процесс выборки, принимая созданный случайный шум, направляющий узел, выбранный метод выборки, запланированные сигмы и латентное представление входа в качестве входных данных. Он выводит инпейнтированное латентное представление.

Наконец, VAEDecode декодирует инпейнтированное латентное представление в конечный результат, бесшовно сливая инпейнтированную область с оригинальным представлением. PreviewImage отображает предварительный просмотр конечного результата, демонстрируя впечатляющие возможности инпейнтинга FLUX.

Используя возможности FLUX и тщательно разработанный рабочий процесс инпейнтинга, FLUX Inpainting позволяет создавать визуально согласованные и контекстуально релевантные инпейнтированные результаты. Независимо от того, восстанавливаются ли отсутствующие части, удаляются нежелательные объекты или изменяются конкретные области, рабочий процесс инпейнтинга ComfyUI FLUX предоставляет мощный инструмент для редактирования и манипуляций.

5.6. Рабочий процесс ComfyUI: FLUX NF4

5.6.1. ComfyUI FLUX NF4: Загрузить

5.6.2. Онлайн-версия ComfyUI FLUX NF4: ComfyUI FLUX NF4

На платформе RunComfy наша онлайн-версия предварительно загружает все необходимые режимы и узлы для вас. Кроме того, мы предлагаем высокопроизводительные GPU машины, что гарантирует, что вы сможете наслаждаться опытом ComfyUI FLUX NF4 без особых усилий.

5.6.3. Объяснение ComfyUI FLUX NF4:

Рабочий процесс ComfyUI FLUX NF4 демонстрирует интеграцию ComfyUI FLUX с архитектурой NF4 (Normalizing Flow 4) для создания высококачественных результатов. Рабочий процесс начинается с загрузки необходимых компонентов с помощью CheckpointLoaderNF4, включая FLUX UNET, FLUX CLIP и FLUX VAE.

• UNETLoader: Загружает модель UNET для создания изображений.
  • Контрольная точка: TBD

Узлы PrimitiveNode (height) и PrimitiveNode (width) указывают желаемую высоту и ширину создаваемого результата. Узел ModelSamplingFlux устанавливает параметры выборки для ComfyUI FLUX на основе загруженной модели FLUX UNET и указанных высоты и ширины.

Узел EmptySD3LatentImage создает пустое латентное представление в качестве начальной точки для создания. Узел BasicScheduler планирует уровни шума (сигмы) для процесса создания ComfyUI FLUX.

Узел RandomNoise генерирует случайный шум для процесса создания ComfyUI FLUX. Узел BasicGuider направляет процесс создания на основе условия ComfyUI FLUX.

Узел KSamplerSelect выбирает метод выборки для создания ComfyUI FLUX. Узел SamplerCustomAdvanced выполняет продвинутый процесс выборки, принимая созданный случайный шум, направляющий узел, выбранный метод выборки, запланированные сигмы и пустое латентное представление в качестве входных данных. Он выводит созданное латентное представление.

Узел VAEDecode декодирует созданное латентное представление в конечный результат с использованием загруженной модели FLUX VAE. Узел SaveImage сохраняет созданный результат в указанное место.

Для увеличения масштаба используется узел UltimateSDUpscale. Он принимает созданный результат, загруженный FLUX, положительное и отрицательное условие для увеличения масштаба, загруженный FLUX VAE и загруженный FLUX для увеличения масштаба в качестве входных данных. Узел CLIPTextEncode (Upscale Positive Prompt) кодирует положительный текстовый запрос для увеличения масштаба. Узел UpscaleModelLoader загружает FLUX для увеличения масштаба. Узел UltimateSDUpscale выполняет процесс увеличения масштаба и выводит масштабированное представление. Наконец, узел SaveImage (Upscaled) сохраняет масштабированный результат в указанное место.

Используя возможности ComfyUI FLUX и архитектуру NF4, рабочий процесс ComfyUI FLUX NF4 позволяет создавать высококачественные результаты с улучшенной точностью и реалистичностью. Бесшовная интеграция ComfyUI FLUX с архитектурой NF4 предоставляет мощный инструмент для создания потрясающих и захватывающих результатов.

5.7. Рабочий процесс ComfyUI: FLUX IPAdapter

5.7.1. ComfyUI FLUX IPAdapter: Загрузить

5.7.2. Онлайн-версия ComfyUI FLUX IPAdapter: ComfyUI FLUX IPAdapter

На платформе RunComfy наша онлайн-версия предварительно загружает все необходимые режимы и узлы для вас. Кроме того, мы предлагаем высокопроизводительные GPU машины, что гарантирует, что вы сможете наслаждаться опытом ComfyUI FLUX IPAdapter без особых усилий.

5.7.3. Объяснение ComfyUI FLUX IPAdapter:

Рабочий процесс ComfyUI FLUX IPAdapter начинается с загрузки необходимых моделей, включая модель UNET (UNETLoader), модель CLIP (DualCLIPLoader) и модель VAE (VAELoader).

Положительные и отрицательные текстовые запросы кодируются с помощью CLIPTextEncodeFlux. Положительное текстовое условие используется для руководства процессом создания ComfyUI FLUX.

Входное изображение загружается с помощью LoadImage. Узел LoadFluxIPAdapter загружает IP-адаптер для модели FLUX, который затем применяется к загруженной модели UNET с помощью ApplyFluxIPAdapter. Узел ImageScale масштабирует входное изображение до нужного размера перед применением IP-адаптера.

• LoadFluxIPAdapter: Загружает IP-адаптер для модели FLUX.
  • Модель IP Adapter: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

Узел EmptyLatentImage создает пустое латентное представление в качестве начальной точки для создания ComfyUI FLUX.

Узел XlabsSampler выполняет процесс выборки, принимая FLUX UNET с примененным IP-адаптером, закодированные положительные и отрицательные текстовые условия и пустое латентное представление в качестве входных данных. Он создает латентное представление.

Узел VAEDecode декодирует созданное латентное представление в конечный результат с использованием загруженной модели FLUX VAE. Узел PreviewImage отображает предварительный просмотр конечного результата.

Рабочий процесс ComfyUI FLUX IPAdapter использует возможности ComfyUI FLUX и IP-адаптера для создания высококачественных результатов, которые соответствуют предоставленным текстовым запросам. Применяя IP-адаптер к FLUX UNET, рабочий процесс позволяет создавать результаты, которые захватывают желаемые характеристики и стиль, указанные в текстовом условии.

5.8. Рабочий процесс ComfyUI: Flux LoRA Trainer

5.8.1. ComfyUI FLUX LoRA Trainer: Загрузить

5.8.2. Объяснение ComfyUI Flux LoRA Trainer:

Рабочий процесс ComfyUI FLUX LoRA Trainer состоит из нескольких этапов для обучения LoRA с использованием архитектуры FLUX в ComfyUI.

Выбор и настройка модели ComfyUI FLUX: Узел FluxTrainModelSelect используется для выбора компонентов для обучения, включая UNET, VAE, CLIP и текстовый энкодер CLIP. Узел OptimizerConfig настраивает параметры оптимизатора для обучения ComfyUI FLUX, такие как тип оптимизатора, скорость обучения и затухание веса. Узлы TrainDatasetGeneralConfig и TrainDatasetAdd используются для настройки обучающего набора данных, включая разрешение, параметры увеличения и размеры пакетов.

Инициализация обучения ComfyUI FLUX: Узел InitFluxLoRATraining инициализирует процесс обучения LoRA с использованием выбранных компонентов, настройки набора данных и параметров оптимизатора. Узел FluxTrainValidationSettings настраивает параметры валидации для обучения, такие как количество валидационных выборок, разрешение и размер пакета.

Цикл обучения ComfyUI FLUX: Узел FluxTrainLoop выполняет цикл обучения для LoRA, итерация на указанное количество шагов. После каждого цикла обучения узел FluxTrainValidate валидирует обученную LoRA с использованием валидационных настроек и генерирует валидационные результаты. Узел PreviewImage отображает предварительный просмотр результатов валидации. Узел FluxTrainSave сохраняет обученную LoRA через указанные интервалы.

Визуализация потерь ComfyUI FLUX: Узел VisualizeLoss визуализирует потери обучения в течение курса обучения.

Узел SaveImage сохраняет график потерь для дальнейшего анализа.

Обработка выходных данных валидации ComfyUI FLUX: Узлы AddLabel и SomethingToString используются для добавления меток к выходным данным валидации, указывающим шаги обучения. Узлы ImageBatchMulti и ImageConcatFromBatch объединяют и конкатенируют выходные данные валидации в один результат для более легкой визуализации.

Завершение обучения ComfyUI FLUX: Узел FluxTrainEnd завершает процесс обучения LoRA и сохраняет обученную LoRA. Узел UploadToHuggingFace может быть использован для загрузки обученной LoRA на Hugging Face для обмена и дальнейшего использования с ComfyUI FLUX.

5.9. Рабочий процесс ComfyUI: Flux Latent Upscaler

5.9.1. ComfyUI Flux Latent Upscaler: Загрузить

5.9.2. Объяснение ComfyUI Flux Latent Upscaler:

Рабочий процесс ComfyUI Flux Latent Upscale начинается с загрузки необходимых компонентов, включая CLIP (DualCLIPLoader), UNET (UNETLoader) и VAE (VAELoader). Текстовый запрос кодируется с помощью узла CLIPTextEncode, и руководство применяется с помощью узла FluxGuidance.

Узел SDXLEmptyLatentSizePicker+ указывает размер пустого латентного представления, которое служит начальной точкой для процесса увеличения масштаба в FLUX. Латентное представление затем обрабатывается через серию шагов увеличения масштаба и обрезки с использованием узлов LatentUpscale и LatentCrop.

Процесс увеличения масштаба направляется закодированным текстовым условием и использует узел SamplerCustomAdvanced с выбранным методом выборки (KSamplerSelect) и запланированными уровнями шума (BasicScheduler). Узел ModelSamplingFlux устанавливает параметры выборки.

Масштабированное латентное представление затем компонуется с оригинальным латентным представлением с использованием узла LatentCompositeMasked и маски, созданной узлами SolidMask и FeatherMask. Шум вводится в масштабированное латентное представление с использованием узла InjectLatentNoise+.

Наконец, масштабированное латентное представление декодируется в конечный результат с использованием узла VAEDecode, и умная резкость применяется с использованием узла ImageSmartSharpen+. Узел PreviewImage отображает предварительный просмотр конечного результата, созданного ComfyUI FLUX.

Рабочий процесс ComfyUI FLUX Latent Upscaler также включает различные математические операции с использованием узлов SimpleMath+, SimpleMathFloat+, SimpleMathInt+ и SimpleMathPercent+ для вычисления размеров, коэффициентов и других параметров для процесса увеличения масштаба.