IC-Light | Rééclairement d'image

1. Qu'est-ce qu'IC-Light ?

IC-Light est un outil d'édition d'image basé sur l'IA qui s'intègre aux modèles Stable Diffusion pour effectuer des modifications localisées sur les images générées. Il fonctionne en encodant l'image dans une représentation d'espace latente, en appliquant des modifications à des régions spécifiques, puis en décodant la représentation latente modifiée en une image. Cette approche permet un contrôle précis du processus d'édition tout en préservant le style général et la cohérence de l'image originale.

Deux modèles sont maintenant disponibles : un modèle de rééclairement conditionné par texte et un modèle conditionné par arrière-plan. Les deux types prennent des images de premier plan en entrée.

2. Comment fonctionne IC-Light ?

Sous le capot, IC-Light exploite la puissance des modèles Stable Diffusion pour encoder et décoder les images. Le processus peut être décomposé en plusieurs étapes :

2.1. Encodage : L'image d'entrée est passée par le Stable Diffusion VAE (Variational Autoencoder) pour obtenir une représentation d'espace latente compressée. 2.2. Édition : Les modifications souhaitées sont appliquées à des régions spécifiques de la représentation latente. Pour cela, on concatène généralement le latent original avec un masque indiquant les zones à modifier, ainsi que les directives d'édition correspondantes. 2.3. Décodage : La représentation latente modifiée est passée par le décodeur Stable Diffusion pour reconstruire l'image éditée. En opérant dans l'espace latent, IC-Light peut faire des modifications localisées tout en maintenant la cohérence et le style global de l'image.

3. Comment utiliser ComfyUI IC-Light ?

Le nœud principal avec lequel vous travaillerez est le nœud "IC-Light Apply", qui gère l'ensemble du processus d'encodage, d'édition et de décodage de votre image.

3.1. Paramètres d'entrée "IC-Light Apply" :

Le nœud "IC-Light Apply" nécessite trois entrées principales :

• model : Il s'agit du modèle Stable Diffusion de base qui sera utilisé pour encoder et décoder votre image.
• ic_model : Il s'agit du modèle IC-Light pré-entraîné qui contient les poids nécessaires au processus d'édition.
• c_concat : Il s'agit d'une entrée spéciale qui combine votre image originale, le masque indiquant les zones à modifier et les directives d'édition qui définissent comment ces zones doivent être modifiées.

Pour créer l'entrée c_concat :

1. Utilisez le nœud VAEEncodeArgMax pour encoder votre image originale. Ce nœud garantit que la représentation latente la plus probable de votre image est obtenue.
2. Utilisez le nœud ICLightApplyMaskGrey pour créer une version masquée de votre image. Ce nœud prend en entrée votre image originale et un masque, et il produit une version de l'image où les zones non masquées sont grisées.
3. Créez des représentations latentes de vos directives d'édition. Ces directives guideront les modifications apportées aux régions sélectionnées de votre image.
4. Combinez les représentations latentes de votre image originale, du masque et des directives d'édition en une seule entrée pour le nœud "IC-Light Apply".

3.2. Paramètres de sortie "IC-Light Apply" :

Après avoir traité vos entrées, le nœud "IC-Light Apply" produira un seul paramètre :

• model : Il s'agit du modèle Stable Diffusion modifié avec les modifications IC-Light appliquées.

Pour générer votre image finale éditée, il suffit de connecter le modèle de sortie aux nœuds appropriés dans votre workflow ComfyUI, tels que les nœuds KSampler et VAEDecode.

3.3. Conseils pour obtenir les meilleurs résultats :

1. Utilisez des masques de haute qualité : Pour vous assurer que vos modifications sont précises et efficaces, assurez-vous que vos masques délimitent avec précision les régions que vous souhaitez modifier.
2. Expérimentez avec différentes directives d'édition : Les directives d'édition guident les modifications apportées aux régions sélectionnées de votre image. N'hésitez pas à essayer différentes directives pour obtenir l'effet souhaité, et n'hésitez pas à affiner vos directives en fonction des résultats obtenus.
3. Équilibrez les modifications globales et locales : Bien qu'IC-Light soit idéal pour apporter des modifications localisées, il est important de tenir compte de la composition et de la cohérence globales de votre image. Essayez de trouver un équilibre entre les modifications ciblées et les ajustements globaux pour maintenir l'intégrité de votre œuvre générée.

Pour plus d'informations, veuillez consulter github