Guide détaillé pour maîtriser ComfyUI IPAdapter Plus (IPAdapter V2)

Bienvenue ! Dans ce guide, explorons les fonctionnalités passionnantes de ComfyUI IPAdapter Plus, également connu sous le nom de ComfyUI IPAdapter V2.

Les modèles IPAdapter sont très puissants pour le conditionnement d'image à image, permettant un transfert facile du sujet ou du style d'images de référence vers de nouvelles créations. Considérez-le comme un LoRA à 1 image.

L'introduction d'IPAdapter Plus (IPAdapter V2) a apporté une pléthore de nouvelles fonctionnalités visant à rationaliser le processus d'intégration des modèles, à améliorer la convivialité et à élargir les possibilités créatives.

Il est important de noter que la mise à niveau vers ComfyUI IPAdapter Plus (IPAdapter V2) rendra vos workflows précédents, qui reposent sur le nœud ComfyUI IPAdapter V1, non fonctionnels. Par conséquent, vous devrez reconstruire vos projets en utilisant ComfyUI IPAdapter Plus.

Nous couvrirons :

1. ComfyUI IPAdapter Plus - Nœud IPAdapter Basic

• 1.1. Le workflow ComfyUI IPAdapter le plus simple
• 1.2. Entrées du nœud ComfyUI "IPAdapter"
• 1.3. Paramètres du nœud ComfyUI "IPAdapter"
• 1.4. La différence d'utilisation de ComfyUI IPAdapter Plus avec les modèles de point de contrôle SD1.5 et SDXL

2. ComfyUI IPAdapter Plus - Nœud IPAdapter Advanced

• 2.1. Le workflow ComfyUI IPAdapter Advanced
• 2.2. Paramètres étendus du nœud ComfyUI "IPAdapter Advanced"

3. ComfyUI IPAdapter Plus - FaceID

• 3.1. Workflow ComfyUI IPAdapter FaceID

4. ComfyUI IPAdapter Plus - Fonctionnalité Image Merge

• 4.1. Méthode 1 : Utilisation du nœud ComfyUI "Batch Image"
• 4.2. Méthode 2 : Contrôle précis des poids de référence à l'aide du nœud ComfyUI "IPAdapter Encoder"

5. ComfyUI IPAdapter Plus - IPAdapter Tile pour les images hautes

• 5.1 Workflow ComfyUI IPAdapter Tile

6. ComfyUI IPAdapter Plus - Style et Composition

• 6.1. ComfyUI IPAdapter Plus pour le transfert de style
• 6.2. ComfyUI IPAdapter Plus pour maintenir la composition
• 6.3. ComfyUI IPAdapter Plus pour maintenir la composition et le transfert de style

🌟🌟🌟 ComfyUI en ligne - Expérimentez le workflow IPAdapter Plus maintenant 🌟🌟🌟

Si vous souhaitez explorer le workflow ComfyUI IPAdapter Plus (IPAdapter V2), utilisez le ComfyUI web suivant. Il est entièrement équipé de tous les nœuds et modèles clients essentiels, permettant une créativité transparente sans nécessiter de configurations manuelles. Commencez à acquérir une expérience pratique immédiatement, ou poursuivez ce tutoriel pour apprendre à utiliser efficacement IPAdapter Plus.

Pour des workflows ComfyUI plus avancés et premium, visitez notre 🌟Liste de workflows ComfyUI🌟

1. ComfyUI IPAdapter Plus - Nœud IPAdapter Basic

1.1. Le workflow ComfyUI IPAdapter le plus simple

1.2. Entrées du nœud ComfyUI "IPAdapter"

1.2.1. Entrées du nœud "IPAdapter" : Model et IPAdapter

Les entrées "Model" et "IPAdapter" du nœud "IPAdapter" sont connectées à la sortie du nœud "IPAdapter Unified Loader". Ici, vous pouvez sélectionner parmi divers modèles IPAdapter, chacun adapté à des exigences différentes :

• Light - SD1.5 Only (low strength) : Ce modèle est idéal pour des ajustements minimes et est exclusivement compatible avec le modèle SD1.5.
• Standard (medium strength) : Ce modèle réalise des modifications d'intensité moyenne, adaptées à un large éventail d'applications, équilibrant des altérations subtiles et perceptibles.
• VIT-G (medium strength) : Tout en offrant des ajustements moyens comme le Standard, le modèle VIT-G est adapté à des données d'image plus complexes ou variées, améliorant potentiellement les performances dans des scénarios spécifiques.
• PLUS (high strength) : Pour ceux qui nécessitent des modifications substantielles, le modèle PLUS offre de puissantes capacités créatives, permettant des altérations significatives.
• PLUS FACE (portraits) : Conçu spécifiquement pour améliorer les portraits, PLUS FACE se concentre sur l'amélioration des traits du visage, idéal pour la photographie de portrait et les œuvres d'art.
• Full FACE - SD1.5 Only (portraits stronger) : Une version plus intense de PLUS FACE, le modèle Full FACE est conçu pour des transformations spectaculaires de portraits, mais il n'est compatible qu'avec le modèle SD1.5.

1.2.2. Entrées du nœud "IPAdapter" : Image

L'entrée "Image" du nœud "IPAdapter" est l'image de référence utilisée pour le conditionnement d'image à image. C'est là que le nœud "IPAdapter" applique ses capacités de transformation, modifiant l'image de référence en fonction des paramètres définis et des fonctionnalités du modèle. Grâce à ce processus, de nouvelles images sont générées, héritant des attributs de l'image de référence et les combinant avec le potentiel créatif du modèle IPAdapter.

1.2.3. Entrées du nœud "IPAdapter" : Attn Mask (Masque d'attention)

Avec "Attn Mask", vous pouvez mettre en évidence des zones d'image spécifiques pour un traitement ciblé ou pour guider l'attention du modèle, en améliorant ou en préservant certaines caractéristiques de l'image tout en dirigeant la concentration du modèle.

1.3. Paramètres du nœud ComfyUI "IPAdapter"

1.3.1. Paramètres du nœud "IPAdapter" : Weight

Le paramètre "Weight" ajuste l'intensité des modifications appliquées ; des valeurs plus élevées conduisent à des effets plus prononcés, tandis que des valeurs plus faibles entraînent des changements plus subtils.

1.3.2. Paramètres du nœud "IPAdapter" : Start At & End At

Les paramètres "Start At" et "End At" dictent les étapes initiale et finale auxquelles les effets d'IPAdapter sont appliqués, offrant un contrôle sur le traitement.

1.3.3. Paramètres du nœud "IPAdapter" : Weight Type

Le "Weight Type" pour appliquer le poids à travers les étapes de traitement varie, chacun affectant la sortie d'une manière distinctive :

• Standard
• Prompt is more important
• Style Transfer (SDXL only)

1.4. La différence d'utilisation de ComfyUI IPAdapter Plus avec les modèles de point de contrôle SD1.5 et SDXL

Lors de l'utilisation de modèles SDXL, le modèle IPAdapter Plus s'intègre de manière transparente et s'adapte automatiquement aux caractéristiques du modèle SDXL. Cependant, il est essentiel d'ajuster la taille latente de manière appropriée pour s'aligner sur les exigences du modèle SDXL.

2. ComfyUI IPAdapter Plus - Nœud IPAdapter Advanced

2.1. Le workflow ComfyUI IPAdapter Advanced

Offrant un ensemble de fonctionnalités plus complet, le nœud ComfyUI IPAdapter Advanced améliore le contrôle sur le processus de génération grâce à des paramètres comme "Image Negative", "CLIP Vision", "Combine Embeds", et plus d'options de "Weight Type", alignant les images plus près de votre vision créative.

2.2. Paramètres étendus du nœud ComfyUI "IPAdapter Advanced"

2.2.1. Paramètres étendus du nœud "IPAdapter Advanced" : Image Negative

Le paramètre "Image Negative" vous permet de définir ce que vous ne voulez pas voir apparaître dans l'image finale. En spécifiant des exemples négatifs, le modèle est guidé loin des éléments indésirables, se dirigeant vers un résultat plus souhaitable. Cette fonctionnalité est essentielle pour éviter des thèmes, des objets ou des motifs spécifiques dans l'image générée, garantissant que la sortie adhère à vos préférences.

2.2.2. Paramètres étendus du nœud "IPAdapter Advanced" : CLIP Vision

Dans le nœud "IPAdapter Advanced", vous trouverez l'entrée "CLIP Vision". Celle-ci se connecte à la sortie du nœud "Load CLIP Vision", où vous pouvez sélectionner parmi différents modèles CLIP-ViT.

• CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors : Cette variante de modèle fait partie de la famille CLIP (Contrastive Language–Image Pre-training), spécialement conçue pour comprendre et interpréter le contenu visuel en relation avec les informations textuelles. Il est entraîné sur un grand ensemble de données (laion2B), avec une taille de modèle de 32 milliards de paramètres (s32B), et a été optimisé pour équilibrer les performances et la sécurité dans la génération de contenu (b79K indique une référence ou une version spécifique). Ce modèle est apte à gérer un large éventail de tâches de reconnaissance visuelle, le rendant approprié pour générer des images de haute qualité et contextuellement précises.
• CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors : Similaire à son homologue, ce modèle est également entraîné sur l'ensemble de données laion2B mais a une taille plus importante de 39 milliards de paramètres, le rendant capable de comprendre des relations encore plus nuancées entre le texte et les images. Le "bigG" dénote probablement une version plus grande ou plus avancée dans la série CLIP-ViT, avec "b160k" signifiant sa référence ou sa version. Ce modèle excelle dans la création d'images détaillées et complexes qui s'alignent étroitement avec les descriptions textuelles, convenant aux applications nécessitant une haute fidélité et une compréhension sémantique profonde.

La principale différence entre CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors et CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors réside dans leur taille et leur capacité potentielle à gérer la complexité, ce dernier étant plus grand avec 39 milliards de paramètres, suggérant qu'il peut interpréter des relations texte-image plus nuancées que les 32 milliards de paramètres du premier.

2.2.3. Paramètres étendus du nœud "IPAdapter Advanced" : Weight Type

Comparé au nœud "IPAdapter", le nœud "IPAdapter Advanced" ouvre plus d'options pour le "Weight Type", chacune affectant la sortie d'une manière distinctive :

• Linear : Applique le poids uniformément du début à la fin du pipeline de traitement, assurant une influence constante tout aulong sans modulation d'intensité.
• Ease In : Augmente progressivement le poids depuis le début, permettant une introduction en douceur de l'effet au fur et à mesure qu'il progresse dans le pipeline.
• Ease Out : Débute avec une forte influence qui diminue progressivement, atténuant efficacement l'effet vers la fin du traitement.
• Ease In-Out : Une combinaison des effets "Ease In" et "Ease Out" ; il commence et se termine avec une influence plus douce, atteignant un pic au milieu pour un impact maximal.
• Weak Input : Réduit spécifiquement l'influence de l'effet au début de la chaîne de traitement, rendant les éléments initiaux moins prononcés.
• Weak Output : Diminue l'influence vers la fin de la chaîne de traitement, adoucissant les aspects finaux de l'image.
• Weak Middle : Minimise l'influence de l'effet au milieu de la chaîne de traitement, souvent pour maintenir la clarté ou se concentrer sur les aspects de début et de fin.
• Strong Middle : Amplifie l'effet dans la partie centrale de la chaîne de traitement, intensifiant l'impact sur les éléments clés de l'image.
• Style Transfer (SDXL) : Conçu exclusivement pour les modèles SDXL, cette option se concentre sur l'adaptation du style de l'image de référence à l'image cible, tirant parti des capacités de SDXL pour une transformation stylistique nuancée.
• Composition (SDXL) : Adapté aux modèles SDXL, il vise à fusionner les éléments de composition des images de référence et cible, en mettant l'accent sur l'arrangement et l'interaction des éléments dans l'espace.

2.2.4. Paramètres étendus du nœud "IPAdapter Advanced" : Combine Embeds

La fonctionnalité "Combine Embeds" est essentielle pour ceux qui cherchent à fusionner des entrées de sources multiples en une seule sortie visuelle cohérente. En utilisant "Combine Embeds", vous avez la flexibilité de créer des images qui incorporent un large éventail d'influences et d'inspirations artistiques, résultant en des créations vraiment personnalisées et innovantes. Les méthodes fournies pour combiner les intégrations, telles que Concat, Add, Subtract, Average et Norm Average, offrent diverses approches pour fusionner ces influences. Celles-ci seront explorées en détail dans la section 4, "Fonctionnalité ComfyUI IPAdapter Image Merge".

3. ComfyUI IPAdapter Plus - FaceID

Dans la configuration mentionnée ci-dessus, vous avez peut-être remarqué l'absence du modèle FaceID. Pour intégrer le modèle Face ID dans votre workflow, deux nœuds spécifiques sont requis : le nœud "IPAdapter Unified Loader FaceID" et le nœud "IPAdapter FaceID".

3.1. Workflow ComfyUI IPAdapter FaceID

Lorsque vous travaillez dans le nœud "IPAdapter Unified Loader FaceID", vous pouvez sélectionner le dernier "Face ID Plus V2" dans le menu déroulant des modèles disponibles. Cette action indique au chargeur de rassembler et de préparer automatiquement toutes les dépendances propres au modèle Face ID Plus V2.

Choisissez le CPU comme fournisseur. Malgré la disponibilité potentielle d'un GPU haute performance, il est conseillé de configurer le modèle Face ID pour utiliser le CPU comme fournisseur. Cette recommandation découle de l'avantage de préserver la précieuse mémoire vidéo (VRAM), une stratégie qui s'avère avantageuse et aide à optimiser l'efficacité et l'efficience globales de l'allocation des ressources de votre projet.

4. ComfyUI IPAdapter Plus - Fonctionnalité Image Merge

Comment utiliser plusieurs images de référence pour en générer une nouvelle ? Voici deux méthodes pour y parvenir avec ComfyUI IPAdapter Plus, vous offrant la flexibilité et le contrôle nécessaires pour une génération d'images créative.

4.1. Méthode 1 : Utilisation du nœud ComfyUI "Batch Image"

Pour commencer avec le nœud "Batch Image", vous devez d'abord sélectionner les images que vous souhaitez fusionner. Ces images sont ensuite insérées dans le nœud, créant un lot unifié. Ce lot est ensuite introduit dans le pipeline IPAdapter, appliquant chaque image séquentiellement au processus génératif.

Le nœud "IPAdapter Advanced" introduit les options "Combine Embeds", vous accordant un contrôle sophistiqué sur la façon dont plusieurs images influencent la génération. Ces options—Concat, Add, Subtract, Average et Norm Average—dictent comment les intégrations de différentes images sont fusionnées, chacune menant à des résultats uniques :

• Concat : Cette option concatène les intégrations de chaque image, préservant et combinant efficacement les informations de toutes les images d'entrée dans un format étendu unique. Cette approche est bénéfique pour incorporer un large spectre de caractéristiques de chaque image, mais peut conduire à une complexité due à la quantité accrue d'informations traitées.
• Add : En additionnant les intégrations des images, la méthode "Add" synergise leurs influences, renforçant les traits communs aux images. Cela peut être particulièrement utile pour souligner les caractéristiques ou thèmes partagés, conduisant potentiellement à une sortie plus unifiée et cohérente.
• Subtract : Contrairement à l'addition, la méthode "Subtract" différencie les intégrations en les soustrayant, mettant en évidence les aspects uniques de chaque image. Cette approche permet une exploration créative des contrastes et peut être utilisée pour diminuer certains éléments présents dans les images de référence, offrant une nouvelle voie d'expression artistique.
• Average : En faisant la moyenne des intégrations, cette méthode réalise un amalgame équilibré des caractéristiques des images, s'assurant que l'influence d'une seule image ne soit pas trop dominante. Cette technique est idéale pour obtenir une intégration harmonieuse de plusieurs images, fournissant une sortie cohésive qui représente uniformément les images d'entrée.
• Norm Average (Moyenne normalisée) : Cette option ajuste l'influence de chaque image en fonction de son poids relatif dans le lot, permettant un contrôle précis de la contribution de chaque image de référence à la composition finale. Elle permet d'affiner l'apparence de l'image générée, garantissant que le résultat final s'aligne étroitement avec la vision de l'utilisateur.

Dans l'image suivante, en utilisant différentes options "Combine Embeds", vous obtiendrez des résultats différents.

4.2. Méthode 2 : Contrôle précis des poids de référence à l'aide du nœud ComfyUI "IPAdapter Encoder"

Pour ceux qui recherchent un contrôle plus fin sur la façon dont les images de référence sont pondérées dans l'image finale, IPAdapter fournit une solution en utilisant des nœuds "IPAdapter Encoder" et un nœud "IPAdapter Combine Embeds".

4.2.1. Utilisation des nœuds "IPAdapter Encoder"

Chaque image dans le processus de fusion est traitée par un nœud encodeur IPAdapter, qui encode les images pour la compatibilité avec IPAdapter. Dans les nœuds "IPAdapter Encoder", les utilisateurs peuvent attribuer des poids spécifiques à chaque image, dictant leur influence sur la sortie fusionnée. L'ajustement de ces poids permet un contrôle nuancé sur la dominance ou la subtilité de chaque image dans la composition.

4.2.2. Fusion avec le nœud "IPAdapter Combine Embeds"

Après avoir encodé les images et défini leurs poids, le nœud "IPAdapter Combine Embeds" fusionne leurs représentations encodées. Il combine les intégrations positives des nœuds encodeurs, reflétant l'influence souhaitée de chaque image sur la sortie fusionnée. Cette intégration équilibrée est alors prête pour la synthèse.

4.2.3. Connexion au nœud "IPAdapter"

L'intégration synthétisée est finalement traitée par IP Adapter pour produire la nouvelle image. Bien que la connexion des intégrations négatives soit facultative, il est recommandé de le faire pour préserver les ressources de calcul. En sélectionnant l'une des deux intégrations négatives des nœuds encodeurs et en la reliant au nœud IPAdapter, le processus est optimisé, minimisant les calculs inutiles et rationalisant le processus de fusion.

En suivant ces méthodes, vous pouvez efficacement fusionner plusieurs images pour générer de nouvelles compositions créatives, en tirant pleinement parti des capacités de ComfyUI IPAdapter Plus !

5. ComfyUI IPAdapter Plus - IPAdapter Tile pour les images hautes

Lors du traitement d'images hautes, vous pourriez rencontrer un défi unique : l'encodeur CLIP Vision, un composant essentiel du cadre IPAdapter, préfère intrinsèquement les images carrées. Cette préférence peut entraîner des problèmes de recadrage lors de la connexion directe d'une image haute à un nœud IPAdapter, résultant généralement en seule la partie centrale de l'image influençant la sortie. Par conséquent, les sections supérieure et inférieure de votre image peuvent être ignorées, affectant la qualité globale du contenu généré.

Pour résoudre ce problème, le nœud "IPAdapter Tiled" offre une solution sur mesure. Il permet la connexion directe d'images hautes en segmentant l'image en tuiles plus petites et gérables. Cette méthode garantit que chaque partie de votre image de référence est prise en compte pendant le processus de génération, évitant le problème de la négligence partielle de l'image.

5.1 Workflow ComfyUI IPAdapter Tile

Une fonctionnalité supplémentaire du nœud "IPAdapter Tiled" est la sortie des tuiles et des masques, qui fournit une représentation visuelle de la façon dont votre image est traitée. Cette fonctionnalité montre les tuiles spécifiques utilisées et leurs masques correspondants, vous offrant un aperçu des rouages internes du processus génératif. Comprendre comment votre image est segmentée et traitée peut vous aider à apporter des ajustements éclairés pour atteindre les résultats souhaités.

De plus, le nœud "IPAdapter Tiled" permet des ajustements de masque personnalisés, offrant la flexibilité de mettre en lumière ou de se concentrer sur des sections particulières de votre image. En adaptant ces masques, vous pouvez diriger plus d'attention vers des éléments spécifiques de votre image haute, accordant un contrôle accru sur le résultat. Cette fonctionnalité s'avère inestimable pour accentuer ou minimiser certains aspects de votre image, assurant que le contenu généré s'aligne précisément avec votre vision.

Par conséquent, l'incorporation du nœud "IPAdapter Tiled" dans ComfyUI IPAdapter Plus améliore considérablement votre capacité à gérer des projets de conditionnement d'image à image impliquant des images hautes.

6. ComfyUI IPAdapter Plus - Style et Composition

Comment utiliser ComfyUI IPAdapter Plus pour manipuler et combiner les styles et les compositions d'images de référence afin de créer de nouveaux visuels convaincants. ComfyUI IPAdapter Plus offre une suite puissante d'outils permettant aux artistes et aux designers d'expérimenter, notamment la possibilité de transférer le style d'une image, de conserver la composition d'une autre, ou même de fusionner le style et la composition de différentes références en une seule image.

6.1. ComfyUI IPAdapter Plus pour le transfert de style

Pour transférer le style d'une image de référence, comme un LoRA à 1 image, sur votre contenu cible en utilisant le nœud ComfyUI IPAdapter Advanced, suivez ces étapes :

Configuration du nœud "IPAdapter Advanced" : Commencez par incorporer un nœud "IPAdapter Advanced" dans votre workflow.

Configuration du nœud : Dans les paramètres du nœud ComfyUI IPAdapter Advanced, localisez l'option "Weight Type". Utilisez le menu déroulant pour sélectionner "Style Transfer (SDXL)". Cette configuration dirige l'adaptateur pour prioriser le transfert du style visuel de votre image de référence sur la cible.

Ajustement du "Weight" de transfert de style : Le paramètre "Weight" détermine la force du transfert de style. Augmenter cette valeur amplifie l'influence du style de référence sur votre image cible, rendant l'effet plus distinct.

6.2. ComfyUI IPAdapter Plus pour maintenir la composition

Pour conserver la composition d'une image de référence tout en générant une nouvelle image, vous utiliserez également le nœud ComfyUI IPAdapter Advanced mais avec un paramètre différent :

Configuration du nœud "IPAdapter Advanced" : Comme précédemment, ajoutez un nœud IPAdapter Advanced à votre workflow.

Configuration du nœud : Choisissez "Composition (SDXL)" dans le menu déroulant "Weight Type". Cela indique à l'adaptateur de maintenir les éléments de composition de l'image de référence dans la nouvelle génération.

Ajustement du "Weight" decomposition : Modifiez le paramètre "Weight" pour influencer à quel point la nouvelle image respecte la composition de la référence. Un poids plus élevé imposera plus strictement la composition de la référence.

6.3. ComfyUI IPAdapter Plus pour maintenir la composition et le transfert de style

Pour les projets qui nécessitent à la fois le style d'une image et la composition d'une autre à transférer, le nœud "IPAdapter style & composition SDXL" offre une solution rationalisée :

Choisir le nœud "IPAdapter Style & Composition SDXL" : Ajoutez ce nœud spécialisé à votre projet pour gérer simultanément les transferts de style et de composition.

Charger les références de style et de composition : Le nœud "IPAdapter Style & Composition SDXL" permet deux entrées, une pour l'image dont vous voulez transférer le style et une autre pour l'image dont vous souhaitez conserver la composition. Chargez les deux références en conséquence.

Configurer les "Weights" pour le style et la composition : Le nœud "IPAdapter Style & Composition SDXL" fournit des paramètres de poids séparés pour le style et la composition. Ajustez ces poids pour équilibrer l'influence de chaque référence sur l'image finale. Définir un poids plus élevé pour le style ou la composition donnera la priorité à cet aspect dans l'image générée.

En suivant ces étapes et en expérimentant avec les paramètres, vous pouvez exploiter ComfyUI IPAdapter Plus pour créer des images visuellement époustouflantes qui fusionnent le meilleur des deux mondes : le style distinctif d'une œuvre d'art avec la composition réfléchie d'une autre.

🌟🌟🌟 ComfyUI en ligne - Expérimentez le workflow IPAdapter Plus maintenant 🌟🌟🌟

Si vous souhaitez explorer le workflow ComfyUI IPAdapter Plus (IPAdapter V2), utilisez le ComfyUI web suivant. Il est entièrement équipé de tous les nœuds et modèles clients essentiels, permettant une créativité transparente sans nécessiter de configurations manuelles. Commencez à acquérir une expérience pratique immédiatement !

Pour des workflows ComfyUI plus avancés et premium, visitez notre 🌟Liste de workflows ComfyUI🌟