Linear Mask Dilation | Animations Éblouissantes

ComfyUI Linear Mask Dilation

Créez des animations vidéo éblouissantes en transformant votre sujet (danseur) et faites-le voyager à travers différentes scènes via un effet de dilatation de masque. Ce workflow est conçu pour être utilisé avec des vidéos de sujet unique.

Comment utiliser le Workflow ComfyUI Linear Mask Dilation :

1. Téléchargez une vidéo de sujet dans la section Input
2. Sélectionnez la largeur et la hauteur souhaitées de la vidéo finale, ainsi que le nombre d'images de la vidéo d'entrée à sauter avec "every_nth". Vous pouvez également limiter le nombre total d'images à rendre avec "frame_load_cap".
3. Remplissez l'invite positive et négative. Définissez les temps de trame par lot pour correspondre aux moments où vous souhaitez que les transitions de scène se produisent.
4. Téléchargez des images pour chacune des couleurs de masque de sujet IP Adapter :
   1. White = sujet (danseur)
   2. Black = Premier arrière-plan
   3. Red = Arrière-plan de masque de dilatation rouge
   4. Green = Arrière-plan de masque de dilatation vert
   5. Blue = Arrière-plan de masque de dilatation bleu
5. Chargez un bon point de contrôle LCM (j'utilise ParadigmLCM par Machine Delusions) dans la section "Models".
   1. Ajoutez des loras en utilisant le lora stacker sous le chargeur de modèle
6. Appuyez sur Queue Prompt

Input

• Vous pouvez ajuster la largeur, la hauteur en utilisant les deux entrées en haut à gauche
• every_nth définit combien d'images de l'entrée doivent être sautées (2 = chaque image alternée)
• Les champs de nombre en bas à gauche affichent des informations sur la vidéo d'entrée téléchargée : total des images, largeur, hauteur et FPS de haut en bas.
• Si vous avez déjà une vidéo de masque de sujet générée (doit être sujet blanc sur fond noir), vous pouvez désactiver la section "Override Subject Mask" et télécharger la vidéo de masque. Facultativement, vous pouvez désactiver la section "Segment Subject" pour gagner du temps de traitement.
• Parfois, le sujet segmenté ne sera pas parfait, vous pouvez vérifier la qualité du masque en utilisant la boîte de prévisualisation en bas à droite comme vu ci-dessus. Si c'est le cas, vous pouvez jouer avec l'invite dans le nœud "Florence2Run" pour cibler différentes parties du corps comme "tête", "poitrine", "jambes", etc. et voir si vous obtenez un meilleur résultat.

Prompt

• Définissez l'invite positive en utilisant la mise en forme par lot :
  • par ex. "0": "4k, chef-d'œuvre, 1fille debout sur la plage, absurdres", "25": "HDR, scène de coucher de soleil, 1fille avec des cheveux noirs et une veste blanche, absurdres", …
• L'invite négative est en format normal, vous pouvez ajouter des embeddings si désiré.

Mask Dilations

• Chaque groupe de couleur correspond à la couleur du masque de dilatation qui sera généré par celui-ci.
• Vous pouvez définir la forme du masque, ainsi que la vitesse de dilatation et le délai de trame avec le nœud suivant :
  • shape : "circle" est la plus précise mais prend plus de temps à générer. Définissez ceci lorsque vous êtes prêt pour le rendu final. "square" est rapide à calculer mais moins précis, mieux pour tester le workflow et décider des images de l'adaptateur IP.
  • dilate_per_frame : À quelle vitesse le masque doit se dilater, les nombres plus grands = vitesse de dilatation plus rapide
  • delay : Combien d'images attendre avant que le masque commence à se dilater.
• Si vous avez déjà une vidéo de masque composite générée, vous pouvez désactiver le groupe "Override Composite Mask" et la télécharger. Il est recommandé de contourner les groupes de masques de dilatation si vous remplacez pour économiser du temps de traitement.

Models

• Utilisez un bon modèle LCM pour le point de contrôle. Je recommande ParadigmLCM par Machine Delusions.
• Vous pouvez éventuellement spécifier l'AnimateLCM_sd15_t2v_lora.safetensors avec un faible poids de 0.18 pour améliorer encore le résultat final.
• Ajoutez des Loras supplémentaires au modèle en utilisant le lora stacker bleu sous le chargeur de modèle.

AnimateDiff

• Vous pouvez définir un autre Motion Lora à la place de celui que j'ai utilisé (LiquidAF-0-1.safetensors)
• Ajustez la valeur flottante Multival Dynamic plus haut ou plus bas en fonction de si vous souhaitez que le résultat ait plus ou moins de mouvement.

IP Adapters

• Ici, vous pouvez spécifier les sujets de référence qui seront utilisés pour rendre les arrière-plans pour chacun des masques de dilatation, ainsi que votre sujet vidéo.
• La couleur de chaque groupe représente le masque qu'il cible :
  • White = sujet (danseur)
  • Black = Premier arrière-plan
  • Red = Arrière-plan de masque de dilatation rouge
  • Green = Arrière-plan de masque de dilatation vert
  • Blue = Arrière-plan de masque de dilatation bleu
• Si vous souhaitez que le rendu final suive de plus près les images de l'adaptateur IP d'entrée, vous pouvez changer le préréglage IPAdapter de VIT-G à PLUS dans le groupe IPA Unified Loader.

ControlNet

• Ce workflow utilise 5 controlnets différents, y compris AD, Lineart, QR Code, Depth, et OpenPose.
• Toutes les entrées des controlnets sont générées automatiquement
• Vous pouvez choisir de remplacer la vidéo d'entrée pour les controlnets Depth et Openpose si désiré en désactivant les groupes "Override Depth" et "Override Openpose" comme vu ci-dessous :

• Il est recommandé de désactiver les groupes "Generate Depth" et "Generate Openpose" si vous remplacez pour économiser du temps de traitement.

Sampler

• Par défaut, le groupe de sampler HiRes Fix sera désactivé pour économiser du temps de traitement lors des tests
• Je recommande de contourner le groupe de sampler également lors de l'expérimentation des paramètres de masque de dilatation pour gagner du temps.
• Pour les rendus finaux, vous pouvez activer le groupe HiRes Fix qui mettra à l'échelle et ajoutera des détails au résultat final.

Output

• Il y a deux groupes de sortie : celui de gauche est pour la sortie de sampler standard, et celui de droite est pour la sortie de sampler HiRes Fix.
• Vous pouvez changer l'emplacement où les fichiers seront enregistrés en modifiant la chaîne "custom_directory" dans les nœuds "FileNamePrefixDateDirFirst". Par défaut, ce nœud enregistrera les vidéos de sortie dans un répertoire horodaté dans le répertoire "output" de ComfyUI
  • par ex. …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

À propos de l'auteur

Akatz AI :

• Site Web :
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Contacts :

• Email : akatzfey@sendysoftware.com