FLUX ControlNet Depth-V3 & Canny-V3

FLUX é um novo modelo de geração de imagens desenvolvido por , Os modelos FLUX-ControlNet-Depth e FLUX-ControlNet-Canny foram criados pela equipe XLabs AI. Este fluxo de trabalho do ComfyUI FLUX ControlNet também foi criado pela equipe XLabs AI. Para mais detalhes, visite . Todo o crédito vai para sua contribuição.

Sobre o FLUX

Os modelos FLUX estão pré-carregados no RunComfy, nomeados flux/flux-schnell e flux/flux-dev.

• Ao iniciar uma Máquina de Tamanho Médio no RunComfy: Selecione o checkpoint flux-schnell, fp8 e o clip t5_xxl_fp8 para evitar problemas de falta de memória.
• Ao iniciar uma Máquina de Tamanho Grande ou Acima no RunComfy: Opte por um checkpoint grande flux-dev, default e um clip alto t5_xxl_fp16.

Para mais detalhes, visite: 

🌟O seguinte Fluxo de Trabalho FLUX-ControlNet é especificamente projetado para o modelo .🌟

Sobre o Fluxo de Trabalho FLUX-ControlNet (FLUX-ControlNet-Depth-V3 e FLUX-ControlNet-Canny-V3)

Apresentamos dois fluxos de trabalho FLUX-ControlNet excepcionais: FLUX-ControlNet-Depth e FLUX-ControlNet-Canny, cada um oferecendo capacidades únicas para aprimorar seu processo criativo.

1. Como Usar o Fluxo de Trabalho ComfyUI FLUX-ControlNet-Depth-V3

O modelo FLUX-ControlNet Depth é primeiro carregado usando o nó "LoadFluxControlNet". Selecione o modelo "flux-depth-controlnet.safetensors" para um controle de profundidade ideal.

• flux-depth-controlnet
• flux-depth-controlnet-v2
• flux-depth-controlnet-v3: ControlNet é treinado em resolução 1024x1024 e funciona para resolução 1024x1024, com uma versão melhor e mais realista

Conecte a saída deste nó ao nó "ApplyFluxControlNet". Além disso, conecte sua imagem de mapa de profundidade à entrada de imagem deste nó. O mapa de profundidade deve ser uma imagem em tons de cinza onde objetos mais próximos são mais claros e objetos distantes são mais escuros, permitindo que o FLUX-ControlNet interprete a informação de profundidade com precisão.

Você pode gerar o mapa de profundidade a partir de uma imagem de entrada usando um modelo de estimativa de profundidade. Aqui, o nó "MiDaS-DepthMapPreprocessor" é usado para converter a imagem carregada em um mapa de profundidade adequado para o FLUX-ControlNet. Parâmetros chave:

• Threshold = 6.28 (afeta a sensibilidade às bordas)
• Depth scale = 0.1 (quanto os valores do mapa de profundidade são escalados)
• Output Size = 768 (resolução do mapa de profundidade)

No nó "ApplyFluxControlNet", o parâmetro Strength determina o quanto a imagem gerada é influenciada pelo condicionamento de profundidade do FLUX-ControlNet. Maior força fará com que a saída adira mais de perto à estrutura de profundidade.

2. Como Usar o Fluxo de Trabalho ComfyUI FLUX-ControlNet-Canny-V3

O processo é muito semelhante ao fluxo de trabalho FLUX-ControlNet-Depth. Primeiro, o modelo FLUX-ControlNet Canny é carregado usando "LoadFluxControlNet". Em seguida, ele é conectado ao nó "ApplyFluxControlNet".

• flux-canny-controlnet
• flux-canny-controlnet-v2
• flux-canny-controlnet-v3: ControlNet é treinado em resolução 1024x1024 e funciona para resolução 1024x1024, com uma versão melhor e mais realista

A imagem de entrada é convertida em um mapa de bordas Canny usando o nó "CannyEdgePreprocessor", otimizando-a para o FLUX-ControlNet. Parâmetros chave:

• Low Threshold = 100 (limiar de intensidade das bordas)
• High Threshold = 200 (limiar de histerese para bordas)
• Size = 832 (resolução do mapa de bordas)

O mapa de bordas Canny resultante é conectado ao nó "ApplyFluxControlNet". Novamente, use o parâmetro Strength para controlar o quanto o mapa de bordas influencia a geração do FLUX-ControlNet.

3. Tanto para ComfyUI FLUX-ControlNet-Depth-V3 quanto para ComfyUI FLUX-ControlNet-Canny-V3

Em ambos os fluxos de trabalho FLUX-ControlNet, o prompt de texto codificado pelo CLIP é conectado para conduzir o conteúdo das imagens, enquanto o condicionamento do FLUX-ControlNet controla a estrutura e a geometria com base no mapa de profundidade ou de bordas.

Combinando diferentes FLUX-ControlNets, modalidades de entrada como profundidade e bordas, e ajustando sua força, você pode alcançar um controle refinado sobre o conteúdo semântico e a estrutura das imagens geradas pelo FLUX-ControlNet.

Licença: controlnet.safetensors está sob a  Licença Não Comercial

Licença

Veja os arquivos de licença:

O Modelo FLUX.1 [dev] é licenciado pela Black Forest Labs. Inc. sob a Licença Não Comercial FLUX.1 [dev]. Direitos autorais Black Forest Labs. Inc.

EM NENHUMA HIPÓTESE A BLACK FOREST LABS, INC. SERÁ RESPONSÁVEL POR QUALQUER RECLAMAÇÃO, DANOS OU OUTRA RESPONSABILIDADE, SEJA EM UMA AÇÃO DE CONTRATO, DELITO OU OUTRA, DECORRENTE DE, OU EM CONEXÃO COM O USO DESTE MODELO.