FLUX NF4 | Ускорение генерации изображений FLUX

FLUX – это новая модель генерации изображений, разработанная . Эта модель FLUX NF4 создана lllyasviel, пожалуйста, посетите для получения дополнительной информации.

О FLUX

Модели FLUX предварительно загружены на RunComfy, называются flux/flux-schnell и flux/flux-dev.

• При запуске машины среднего размера RunComfy: Выберите контрольную точку flux-schnell, fp8 и клип t5_xxl_fp8, чтобы избежать проблем с недостатком памяти.
• При запуске машины большого размера или выше RunComfy: Выберите большую контрольную точку flux-dev, default и высокий клип t5_xxl_fp16.

Для получения дополнительной информации посетите:

Введение в FLUX NF4

FLUX NF4 – это специализированная контрольная точка модели, предназначенная для оптимизации производительности в рабочих процессах Stable Diffusion. Разработанная автором lllyasviel, эта модель использует квантование NF4 (Normal Float 4-bit) для значительного улучшения скорости вывода и уменьшения использования памяти по сравнению с традиционными моделями FP8 (Float 8-bit). FLUX NF4 является частью серии моделей, направленных на повышение эффективности, особенно на новых архитектурах GPU, таких как NVIDIA RTX 3000 и 4000 серии. Модель включает передовые функции, такие как "Distilled CFG Guidance", которые уточняют процесс генерации изображений с более точными подсказками. На высококлассном GPU, таком как RTX 4090, обычная модель FLUX генерирует изображение примерно за 50 секунд, в то время как FLUX NF4 занимает около 13-14 секунд. Это делает FLUX NF4 доступной для более широкой аудитории, которая может не иметь первоклассного оборудования.

Как использовать ComfyUI FLUX NF4

1. Загрузка модели: CheckpointLoaderNF4

Этот узел загружает модель FLUX (flux/flux1-dev-bnb-nf4-v2.safetensors). Модель отвечает за управление всем процессом генерации изображений, предоставляя базовую структуру, которая контролирует поведение и характеристики сгенерированных изображений.

2. Генерация случайного шума: RandomNoise

Этот узел генерирует случайный шумовой паттерн, который служит начальным вводом для генерации изображения. Шум выступает в качестве отправной точки, которая будет преобразована в конечный результат.

3. Моделирование выборки Flux: ModelSamplingFlux

Узел ModelSamplingFlux регулирует поведение выборки модели на основе разрешения и других параметров. Он оптимизирует выходные данные модели, обеспечивая сохранение качества изображения при применении преобразований. Если вы предпочитаете не настраивать поведение выборки, этот узел можно обойти.

4. Установка размеров изображения: PrimitiveNode (Ширина и Высота)

Эти узлы определяют размеры изображения (ширину и высоту), обычно устанавливаемые на 1024x1024. Указанные размеры влияют на разрешение и уровень детализации сгенерированного изображения.

5. Условие с текстом CLIP: CLIPTextEncode (Позитивное и Негативное)

Узлы CLIPTextEncode кодируют текстовые подсказки в условные данные, которые направляют процесс генерации изображения. Позитивные подсказки усиливают желаемые характеристики, а негативные подавляют нежелательные, давая вам контроль над содержанием и стилем выходного изображения.

6. Применение Flux Guidance: FluxGuidance

Узел FluxGuidance применяет масштаб руководства (например, 3.5) к условным данным. Этот масштаб регулирует влияние текстовых подсказок на конечный результат, позволяя тонко настроить сгенерированный выход.

7. Планирование с BasicScheduler: BasicScheduler

Этот узел управляет планированием процесса генерации изображений, контролируя переход от шума к конечному изображению. Параметры планирования влияют на то, как быстро и плавно изображение развивается в процессе генерации.

8. Пользовательская выборка: SamplerCustomAdvanced

Этот продвинутый узел выборки уточняет изображение, применяя дополнительные преобразования к латентному изображению. Он интегрирует шум, руководителя, выборку, сигмы и данные латентного изображения для получения высококачественного выхода.

9. Декодирование VAE: VAEDecode

Узел VAEDecode декодирует латентное изображение в фактическое визуальное изображение с использованием VAE (Вариационный Автокодировщик). Этот шаг важен для перевода абстрактного латентного пространства в видимое и интерпретируемое изображение.

10. Масштабирование изображения: UpscaleModelLoader и UltimateSDUpscale

Узел UpscaleModelLoader загружает модель масштабирования (например, 4x-UltraSharp.pth), а узел UltimateSDUpscale применяет эту модель для улучшения разрешения изображения. Этот шаг обеспечивает четкость и детализацию конечного изображения даже при высоких разрешениях.

Лицензия

Просмотреть файлы лицензий:

Модель FLUX.1 [dev] лицензирована компанией Black Forest Labs. Inc. по лицензии FLUX.1 [dev] Non-Commercial License. Copyright Black Forest Labs. Inc.

НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ BLACK FOREST LABS, INC. НЕ НЕСЕТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБУЮ ПРЕТЕНЗИЮ, УЩЕРБ ИЛИ ИНУЮ ОТВЕТСТВЕННОСТЬ, НЕЗАВИСИМО ОТ ТОГО, ЯВЛЯЕТСЯ ЛИ ЭТО ДЕЙСТВИЕМ КОНТРАКТА, ДЕЛИКТА ИЛИ ИНОГО, ВОЗНИКАЮЩЕГО ИЗ ИЛИ В СВЯЗИ С ИСПОЛЬЗОВАНИЕМ ЭТОЙ МОДЕЛИ.