FLUX ControlNet Depth-V3 y Canny-V3

FLUX es un nuevo modelo de generación de imágenes desarrollado por , Los modelos FLUX-ControlNet-Depth y FLUX-ControlNet-Canny fueron creados por el equipo de XLabs AI. Este flujo de trabajo de ComfyUI FLUX ControlNet también fue creado por el equipo de XLabs AI. Para más detalles, por favor visita . Todo el crédito va a su contribución.

Sobre FLUX

Los modelos FLUX están precargados en RunComfy, nombrados flux/flux-schnell y flux/flux-dev.

• Cuando lances una Máquina de Tamaño Medio RunComfy: Selecciona el punto de control flux-schnell, fp8 y el clip t5_xxl_fp8 para evitar problemas de memoria.
• Cuando lances una Máquina de Tamaño Grande o Superior RunComfy: Opta por un punto de control grande flux-dev, default y un clip alto t5_xxl_fp16.

Para más detalles, visita: 

🌟El siguiente flujo de trabajo FLUX-ControlNet está específicamente diseñado para el modelo .🌟

Sobre el Flujo de Trabajo FLUX-ControlNet (FLUX-ControlNet-Depth-V3 y FLUX-ControlNet-Canny-V3)

Presentamos dos flujos de trabajo excepcionales FLUX-ControlNet: FLUX-ControlNet-Depth y FLUX-ControlNet-Canny, cada uno ofreciendo capacidades únicas para mejorar tu proceso creativo.

1. Cómo Usar el Flujo de Trabajo ComfyUI FLUX-ControlNet-Depth-V3

El modelo FLUX-ControlNet Depth se carga primero usando el nodo "LoadFluxControlNet". Selecciona el modelo "flux-depth-controlnet.safetensors" para un control de profundidad óptimo.

• flux-depth-controlnet
• flux-depth-controlnet-v2
• flux-depth-controlnet-v3: ControlNet está entrenado en resolución 1024x1024 y funciona para resolución 1024x1024, con una versión mejor y más realista

Conecta la salida de este nodo al nodo "ApplyFluxControlNet". También conecta tu imagen de mapa de profundidad a la entrada de imagen de este nodo. El mapa de profundidad debe ser una imagen en escala de grises donde los objetos más cercanos son más brillantes y los objetos distantes son más oscuros, permitiendo a FLUX-ControlNet interpretar la información de profundidad con precisión.

Puedes generar el mapa de profundidad a partir de una imagen de entrada usando un modelo de estimación de profundidad. Aquí, se usa el nodo "MiDaS-DepthMapPreprocessor" para convertir la imagen cargada en un mapa de profundidad adecuado para FLUX-ControlNet. Parámetros clave:

• Umbral = 6.28 (afecta la sensibilidad a los bordes)
• Escala de profundidad = 0.1 (cantidad en que se escalan los valores del mapa de profundidad)
• Tamaño de salida = 768 (resolución del mapa de profundidad)

En el nodo "ApplyFluxControlNet", el parámetro de Fuerza determina cuánto influye la imagen generada por el condicionamiento de profundidad de FLUX-ControlNet. Una mayor fuerza hará que la salida se adhiera más estrechamente a la estructura de profundidad.

2. Cómo Usar el Flujo de Trabajo ComfyUI FLUX-ControlNet-Canny-V3

El proceso es muy similar al flujo de trabajo FLUX-ControlNet-Depth. Primero, el modelo FLUX-ControlNet Canny se carga usando "LoadFluxControlNet". Luego, se conecta al nodo "ApplyFluxControlNet".

• flux-canny-controlnet
• flux-canny-controlnet-v2
• flux-canny-controlnet-v3: ControlNet está entrenado en resolución 1024x1024 y funciona para resolución 1024x1024, con una versión mejor y más realista

La imagen de entrada se convierte en un mapa de bordes Canny usando el nodo "CannyEdgePreprocessor", optimizándolo para FLUX-ControlNet. Parámetros clave:

• Umbral Bajo = 100 (umbral de intensidad de borde)
• Umbral Alto = 200 (umbral de histéresis para bordes)
• Tamaño = 832 (resolución del mapa de bordes)

El mapa de bordes Canny resultante se conecta al nodo "ApplyFluxControlNet". Nuevamente, usa el parámetro de Fuerza para controlar cuánto influye el mapa de bordes en la generación de FLUX-ControlNet.

3. Tanto para ComfyUI FLUX-ControlNet-Depth-V3 como para ComfyUI FLUX-ControlNet-Canny-V3

En ambos flujos de trabajo FLUX-ControlNet, el texto del prompt codificado por CLIP se conecta para dirigir el contenido de la imagen, mientras que el condicionamiento de FLUX-ControlNet controla la estructura y geometría basada en el mapa de profundidad o de bordes.

Al combinar diferentes FLUX-ControlNets, modalidades de entrada como profundidad y bordes, y ajustar su fuerza, puedes lograr un control detallado sobre tanto el contenido semántico como la estructura de las imágenes generadas por FLUX-ControlNet.

Licencia: controlnet.safetensors está bajo la  Licencia No Comercial

Licencia

Ver archivos de licencias:

El Modelo FLUX.1 [dev] está licenciado por Black Forest Labs. Inc. bajo la Licencia No Comercial FLUX.1 [dev]. Copyright Black Forest Labs. Inc.

EN NINGÚN CASO BLACK FOREST LABS, INC. SERÁ RESPONSABLE DE NINGUNA RECLAMACIÓN, DAÑOS U OTRA RESPONSABILIDAD, YA SEA EN UNA ACCIÓN DE CONTRATO, AGRAVIO O DE OTRO MODO, QUE SURJA DE O EN CONEXIÓN CON EL USO DE ESTE MODELO.