FLUX ControlNet Depth-V3 & Canny-V3

FLUX est un nouveau modèle de génération d'images développé par , Les modèles FLUX-ControlNet-Depth et FLUX-ControlNet-Canny ont été créés par l'équipe XLabs AI. Ce flux de travail ComfyUI FLUX ControlNet a également été créé par l'équipe XLabs AI. Pour plus de détails, veuillez visiter . Tout le crédit revient à leur contribution.

À propos de FLUX

Les modèles FLUX sont préchargés sur RunComfy, nommés flux/flux-schnell et flux/flux-dev.

• Lorsque vous lancez une machine de taille moyenne RunComfy: Sélectionnez le point de contrôle flux-schnell, fp8 et le clip t5_xxl_fp8 pour éviter les problèmes de mémoire.
• Lorsque vous lancez une machine de grande taille ou plus RunComfy: Optez pour un grand point de contrôle flux-dev, default et un clip élevé t5_xxl_fp16.

Pour plus de détails, visitez : 

🌟Le flux de travail FLUX-ControlNet suivant est spécialement conçu pour le modèle .🌟

À propos du flux de travail FLUX-ControlNet (FLUX-ControlNet-Depth-V3 et FLUX-ControlNet-Canny-V3)

Nous présentons deux flux de travail FLUX-ControlNet exceptionnels : FLUX-ControlNet-Depth et FLUX-ControlNet-Canny, chacun offrant des capacités uniques pour améliorer votre processus créatif.

1. Comment utiliser le flux de travail ComfyUI FLUX-ControlNet-Depth-V3

Le modèle FLUX-ControlNet Depth est d'abord chargé en utilisant le nœud "LoadFluxControlNet". Sélectionnez le modèle "flux-depth-controlnet.safetensors" pour un contrôle optimal de la profondeur.

• flux-depth-controlnet
• flux-depth-controlnet-v2
• flux-depth-controlnet-v3: ControlNet est entraîné sur une résolution de 1024x1024 et fonctionne pour une résolution de 1024x1024, avec une version meilleure et plus réaliste

Connectez la sortie de ce nœud au nœud "ApplyFluxControlNet". Connectez également votre image de carte de profondeur à l'entrée image de ce nœud. La carte de profondeur doit être une image en niveaux de gris où les objets plus proches sont plus clairs et les objets éloignés plus sombres, permettant à FLUX-ControlNet d'interpréter avec précision les informations de profondeur.

Vous pouvez générer la carte de profondeur à partir d'une image d'entrée en utilisant un modèle d'estimation de la profondeur. Ici, le nœud "MiDaS-DepthMapPreprocessor" est utilisé pour convertir l'image chargée en une carte de profondeur adaptée à FLUX-ControlNet. Paramètres clés:

• Seuil = 6.28 (affecte la sensibilité aux bords)
• Échelle de profondeur = 0.1 (valeurs de la carte de profondeur sont mises à l'échelle)
• Taille de sortie = 768 (résolution de la carte de profondeur)

Dans le nœud "ApplyFluxControlNet", le paramètre Strength détermine combien l'image générée est influencée par le conditionnement de profondeur de FLUX-ControlNet. Une force plus élevée fera en sorte que la sortie adhère plus étroitement à la structure de profondeur.

2. Comment utiliser le flux de travail ComfyUI FLUX-ControlNet-Canny-V3

Le processus est très similaire au flux de travail FLUX-ControlNet-Depth. Tout d'abord, le modèle FLUX-ControlNet Canny est chargé en utilisant "LoadFluxControlNet". Ensuite, il est connecté au nœud "ApplyFluxControlNet".

• flux-canny-controlnet
• flux-canny-controlnet-v2
• flux-canny-controlnet-v3: ControlNet est entraîné sur une résolution de 1024x1024 et fonctionne pour une résolution de 1024x1024, avec une version meilleure et plus réaliste

L'image d'entrée est convertie en une carte des contours de Canny en utilisant le nœud "CannyEdgePreprocessor", l'optimisant pour FLUX-ControlNet. Paramètres clés:

• Seuil bas = 100 (seuil d'intensité des contours)
• Seuil haut = 200 (seuil d'hystérésis pour les contours)
• Taille = 832 (résolution de la carte des contours)

La carte des contours de Canny résultante est connectée au nœud "ApplyFluxControlNet". Encore une fois, utilisez le paramètre Strength pour contrôler combien la carte des contours influence la génération FLUX-ControlNet.

3. Pour ComfyUI FLUX-ControlNet-Depth-V3 et ComfyUI FLUX-ControlNet-Canny-V3

Dans les deux flux de travail FLUX-ControlNet, l'invite de texte encodée par CLIP est connectée pour piloter le contenu de l'image, tandis que le conditionnement FLUX-ControlNet contrôle la structure et la géométrie en fonction de la carte de profondeur ou des contours.

En combinant différents FLUX-ControlNets, des modalités d'entrée comme la profondeur et les contours, et en ajustant leur force, vous pouvez obtenir un contrôle précis sur le contenu sémantique et la structure des images générées par FLUX-ControlNet.

Licence : controlnet.safetensors est sous la  Licence Non-Commerciale

Licence

Voir les fichiers de licence:

Le modèle FLUX.1 [dev] est sous licence de Black Forest Labs. Inc. sous la licence FLUX.1 [dev] Non-Commerciale. Tous droits réservés Black Forest Labs. Inc.

EN AUCUN CAS BLACK FOREST LABS, INC. NE SERA RESPONSABLE DE TOUTE RÉCLAMATION, DOMMAGE OU AUTRE RESPONSABILITÉ, QUE CE SOIT DANS UNE ACTION CONTRACTUELLE, DÉLICTUELLE OU AUTRE, DÉCOULANT DE, HORS OU EN CONNEXION AVEC L'UTILISATION DE CE MODÈLE.