FLUX ControlNet Depth-V3 и Canny-V3

FLUX — это новая модель генерации изображений, разработанная , Модели FLUX-ControlNet-Depth и FLUX-ControlNet-Canny были созданы командой XLabs AI. Этот рабочий процесс ComfyUI FLUX ControlNet также был создан командой XLabs AI. Для получения дополнительной информации, пожалуйста, посетите . Все заслуги принадлежат их вкладу.

О FLUX

Модели FLUX предварительно загружены на RunComfy, называются flux/flux-schnell и flux/flux-dev.

• При запуске RunComfy Medium-Sized Machine: Выберите контрольную точку flux-schnell, fp8 и клип t5_xxl_fp8, чтобы избежать проблем с нехваткой памяти.
• При запуске RunComfy Large-Sized или Above Machine: Выберите большую контрольную точку flux-dev, default и высокий клип t5_xxl_fp16.

Для получения дополнительной информации посетите: 

🌟Следующий рабочий процесс FLUX-ControlNet специально разработан для модели .🌟

О рабочем процессе FLUX-ControlNet (FLUX-ControlNet-Depth-V3 и FLUX-ControlNet-Canny-V3)

Мы представляем два исключительных рабочих процесса FLUX-ControlNet: FLUX-ControlNet-Depth и FLUX-ControlNet-Canny, каждый из которых предлагает уникальные возможности для улучшения вашего творческого процесса.

1. Как использовать рабочий процесс ComfyUI FLUX-ControlNet-Depth-V3

Модель FLUX-ControlNet Depth сначала загружается с помощью узла "LoadFluxControlNet". Выберите модель "flux-depth-controlnet.safetensors" для оптимального контроля глубины.

• flux-depth-controlnet
• flux-depth-controlnet-v2
• flux-depth-controlnet-v3: ControlNet обучен на разрешении 1024x1024 и работает для разрешения 1024x1024, с улучшенной и реалистичной версией

Подключите выход этого узла к узлу "ApplyFluxControlNet". Также подключите изображение карты глубины к входу изображения этого узла. Карта глубины должна быть черно-белым изображением, где более близкие объекты ярче, а дальние объекты темнее, что позволяет FLUX-ControlNet точно интерпретировать информацию о глубине.

Вы можете сгенерировать карту глубины из входного изображения, используя модель оценки глубины. Здесь узел "MiDaS-DepthMapPreprocessor" используется для преобразования загруженного изображения в карту глубины, подходящую для FLUX-ControlNet. Ключевые параметры:

• Порог = 6.28 (влияет на чувствительность к краям)
• Масштаб глубины = 0.1 (насколько масштабируются значения карты глубины)
• Размер вывода = 768 (разрешение карты глубины)

В узле "ApplyFluxControlNet" параметр Strength определяет, насколько сильно создаваемое изображение будет зависеть от условий глубины FLUX-ControlNet. Более высокая сила сделает вывод более точно соответствующим структуре глубины.

2. Как использовать рабочий процесс ComfyUI FLUX-ControlNet-Canny-V3

Процесс очень похож на рабочий процесс FLUX-ControlNet-Depth. Сначала модель FLUX-ControlNet Canny загружается с помощью "LoadFluxControlNet". Затем она подключается к узлу "ApplyFluxControlNet".

• flux-canny-controlnet
• flux-canny-controlnet-v2
• flux-canny-controlnet-v3: ControlNet обучен на разрешении 1024x1024 и работает для разрешения 1024x1024, с улучшенной и реалистичной версией

Входное изображение преобразуется в карту краев Canny с помощью узла "CannyEdgePreprocessor", оптимизируя его для FLUX-ControlNet. Ключевые параметры:

• Низкий порог = 100 (порог интенсивности краев)
• Высокий порог = 200 (гистерезисный порог для краев)
• Размер = 832 (разрешение карты краев)

Полученная карта краев Canny подключается к узлу "ApplyFluxControlNet". Опять же, используйте параметр Strength, чтобы контролировать, насколько карта краев влияет на генерацию FLUX-ControlNet.

3. Как для ComfyUI FLUX-ControlNet-Depth-V3, так и для ComfyUI FLUX-ControlNet-Canny-V3

В обоих рабочих процессах FLUX-ControlNet, CLIP закодированный текстовый запрос подключается для управления содержанием изображения, в то время как условие FLUX-ControlNet контролирует структуру и геометрию на основе карты глубины или краев.

Сочетая разные FLUX-ControlNets, входные данные, такие как глубина и края, и настраивая их силу, вы можете достичь тонкого контроля как над семантическим содержанием, так и над структурой изображений, создаваемых FLUX-ControlNet.

Лицензия: controlnet.safetensors попадает под Некоммерческая лицензия

Лицензия

Просмотр файлов лицензий:

Модель FLUX.1 [dev] лицензирована Black Forest Labs. Inc. по Некоммерческой лицензии FLUX.1 [dev]. Авторские права Black Forest Labs. Inc.

НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ BLACK FOREST LABS, INC. НЕ НЕСЕТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ПРЕТЕНЗИИ, УЩЕРБ ИЛИ ИНЫЕ ОБЯЗАТЕЛЬСТВА, ВОЗНИКАЮЩИЕ В РЕЗУЛЬТАТЕ ИЛИ В СВЯЗИ С ИСПОЛЬЗОВАНИЕМ ЭТОЙ МОДЕЛИ.