Vid2Vid Partie 1 | Composition et Masquage

Le workflow ComfyUI Vid2Vid, créé par YVANN, introduit deux workflows distincts pour réaliser des animations de haute qualité et professionnelles.

• Le premier workflow ComfyUI : ComfyUI Vid2Vid Partie 1 | Composition et Masquage
• Le deuxième workflow : ComfyUI Vid2Vid Partie 2 | SDXL Style Transfer

ComfyUI Vid2Vid Partie 1 | Composition et Masquage

Ce workflow améliore la créativité en se concentrant sur la composition et le masquage de votre vidéo originale.

Étape 1 : Chargement des modèles | ComfyUI Vid2Vid Workflow Partie1

Sélectionnez les modèles appropriés pour votre animation. Cela inclut le choix du modèle de checkpoint, du modèle VAE (Variational Autoencoder) et du modèle LoRA (Low-Rank Adaptation). Ces modèles sont cruciaux pour définir les capacités et le style de votre animation.

Étape 2 : Chargement de la vidéo | ComfyUI Vid2Vid Workflow Partie1

Le nœud Input Video est responsable de l'importation du fichier vidéo qui sera utilisé pour l'animation. Le nœud lit la vidéo et la convertit en images individuelles, qui sont ensuite traitées dans les étapes suivantes. Cela permet une édition et une amélioration détaillées image par image.

Étape 3 : Suppression de l'arrière-plan (Masquage automatique) | ComfyUI Vid2Vid Workflow Partie1

Remove Background (Auto Masking) isole le sujet de l'arrière-plan en utilisant une technique de masquage automatisée. Cela implique des modèles qui détectent et séparent le sujet au premier plan de l'arrière-plan, créant un masque binaire. Cette étape est cruciale pour s'assurer que le sujet peut être manipulé indépendamment de l'arrière-plan.

Étape 4 : Masquage d'une zone spécifique (Masque manuel ou automatique) | ComfyUI Vid2Vid Workflow Partie1

Cette étape permet d'affiner le masque créé à l'étape précédente. Vous pouvez soit masquer manuellement des zones spécifiques en utilisant un autre logiciel, soit utiliser la fonctionnalité de masque automatisé 'Segment Anything' de ComfyUI.

• Masque manuel : Cela doit être géré par un autre logiciel en dehors de ComfyUI pour un contrôle précis.
• Masque automatique : En utilisant la fonction de masque automatique, vous pouvez décrire ce que vous voulez masquer en utilisant des mots simples dans le widget de l'invite. Le modèle créera un masque automatiquement, bien qu'il puisse ne pas être aussi précis qu'un masque manuel.

La version par défaut utilise un masque manuel. Si vous souhaitez essayer le masque automatique, veuillez contourner le groupe de masque manuel et activer le groupe de masque automatique. De plus, connectez le MASQUE de 'GroundingDinoSAM' (masque automatique) à 'GrowMaskWithBlur' au lieu de connecter 'ImageToMask' (masque manuel) à 'GrowMaskWithBlur'.

Étape 5 : Transformer le masque | ComfyUI Vid2Vid Workflow Partie1

Transform Mask convertit le masque en une image et permet des ajustements supplémentaires tels que l'ajout de flou au masque original. Cela aide à adoucir les bords et à faire en sorte que le masque se fonde plus naturellement avec le reste de l'image.

Étape 6 : Saisir l'invite | ComfyUI Vid2Vid Workflow Partie1

Saisissez des invites textuelles pour guider le processus d'animation. L'invite peut décrire le style, l'apparence ou les actions souhaitées du sujet. Il est crucial pour définir la direction créative de l'animation, garantissant que le résultat final correspond au style artistique envisagé.

Étape 7 : AnimateDiff | ComfyUI Vid2Vid Workflow Partie1

Le nœud AnimateDiff crée des animations fluides en identifiant les différences entre les images consécutives et en appliquant ces changements de manière incrémentale. Cela aide à préserver la cohérence des mouvements et à réduire les changements brusques dans l'animation, conduisant à un aspect plus fluide et naturel.

Étape 8 : IPAdapter | ComfyUI Vid2Vid Workflow Partie1

Le nœud IPAdapter adapte les images d'entrée pour s'aligner avec les styles ou les caractéristiques souhaitées de sortie. Cela inclut des tâches telles que la colorisation et le transfert de style, garantissant que chaque image de l'animation maintient un aspect et une sensation cohérents.

Étape 9 : ControlNet | ComfyUI Vid2Vid Workflow Partie1

L'utilisation du ControlNet - v1.1 - Instruct Pix2Pix Version model améliore les modèles de diffusion en leur permettant de traiter des conditions d'entrée supplémentaires (par exemple, des cartes de contours, des cartes de segmentation). Il facilite la génération de texte à image en contrôlant ces modèles préentraînés avec des conditions spécifiques à la tâche de manière de bout en bout, permettant un apprentissage robuste même avec des ensembles de données plus petits.

Étape 10 : Rendu | ComfyUI Vid2Vid Workflow Partie1

Dans l'étape Render, les images traitées sont compilées en une sortie vidéo finale. Cette étape garantit que toutes les images individuelles sont combinées de manière transparente en une animation cohérente, prête à être exportée et utilisée ultérieurement.

Étape 11 : Composition de l'arrière-plan | ComfyUI Vid2Vid Workflow Partie1

Cela implique la composition du sujet animé avec l'arrière-plan. Vous pouvez ajouter un arrière-plan statique ou dynamique à l'animation, garantissant que le sujet s'intègre harmonieusement avec le nouvel arrière-plan pour créer un produit final visuellement attrayant.

En utilisant le workflow ComfyUI Vid2Vid Partie1, vous pouvez créer des animations complexes avec un contrôle précis sur chaque aspect du processus, de la composition et du masquage au rendu final.