Dilation de Masque Audioreactif | Animations Impressionnantes

Créez des animations vidéo impressionnantes en transformant votre sujet (par exemple, un danseur) avec une aura dynamique qui s'étend et se contracte rythmiquement en synchronisation avec le rythme. Utilisez ce workflow avec des sujets uniques ou multiples comme vu dans les exemples.

Comment utiliser le Workflow de Dilation de Masque Audioreactif :

1. Téléchargez une vidéo de sujet dans la section Input
2. Sélectionnez la largeur et la hauteur souhaitées pour la vidéo finale, ainsi que le nombre d'images de la vidéo d'entrée à sauter avec 'every_nth'. Vous pouvez également limiter le nombre total d'images à rendre avec 'frame_load_cap'.
3. Remplissez le prompt positif et négatif. Réglez les temps de trame du lot pour correspondre aux moments où vous souhaitez que les transitions de scène se produisent.
4. Téléchargez des images pour chacune des couleurs de masque de sujet IP Adapter par défaut :
   1. Rouge = sujet (danseur)
   2. Noir = Arrière-plan
   3. Blanc = Masque de dilation audioreactif blanc
5. Chargez un bon point de contrôle LCM (j'utilise ParadigmLCM de Machine Delusions) dans la section 'Models'.
   1. Ajoutez des loras en utilisant le Lora stacker sous le chargeur de modèles
6. Appuyez sur Queue Prompt

Input

• Téléchargez la vidéo de sujet souhaitée sur le nœud Load Video (Upload).
• Ajustez la largeur et la hauteur de sortie en utilisant les deux entrées en haut à gauche.
• every_nth détermine si chaque autre image, chaque troisième image, etc. doit être utilisée (2 = chaque autre image). Par défaut à 1.
• skip_frames est utilisé pour sauter des images au début de la vidéo. (100 = sauter les 100 premières images de la vidéo d'entrée). Par défaut à 0.
• frame_load_cap est utilisé pour spécifier combien d'images au total de la vidéo d'entrée doivent être chargées. Il est préférable de garder un nombre bas lors des tests de réglages (30 - 60 par exemple) puis d'augmenter ou de régler à 0 (pas de limite d'images) lors du rendu final de la vidéo.
• Les champs numériques en bas à droite affichent des informations sur la vidéo d'entrée téléchargée : nombre total d'images, largeur, hauteur et FPS de haut en bas.
• Si vous avez déjà une vidéo de masque de sujet générée, désactivez la sourdine de la section 'Upload Subject Mask' et téléchargez la vidéo de masque. Optionnellement, mettez en sourdine la section 'Segment Dancer' pour gagner du temps de traitement.
• Parfois, le sujet segmenté ne sera pas parfait, alors vérifiez la qualité du masque en utilisant la boîte de prévisualisation en bas à droite comme vu ci-dessus. Si c'est le cas, vous pouvez jouer avec le prompt dans le nœud 'Florence2Run' pour cibler différentes parties du corps comme 'tête', 'poitrine', 'jambes', etc. et voir si vous obtenez un meilleur résultat.

Prompt

• Réglez le prompt positif en utilisant le format de lot :
  • par exemple '0' : '4k, chef-d'œuvre, 1fille debout sur la plage, absurde', '25' : 'HDR, scène de coucher de soleil, 1fille avec des cheveux noirs et une veste blanche, absurde', …
• Le prompt négatif est au format normal, ajoutez des embeddings si désiré.

Traitement Audio

• Cette section prend l'audio de la vidéo d'entrée, extrait les stems (basse, batterie, voix, etc.) puis le convertit en une amplitude normalisée synchronisée avec les images de la vidéo d'entrée.
• amp_control = plage totale que l'amplitude peut parcourir.
• amp_offset = valeur minimale que l'amplitude peut prendre.
  • Exemple : amp_control = 0.8 et amp_offset = 0.2 signifie que le signal variera entre 0.2 et 1.0.
• Parfois, le stem de la batterie contient les notes de basse réelles de la chanson ; prévisualisez chaque stem pour déterminer lequel est le meilleur pour vos masques.
• Utilisez les graphiques pour comprendre clairement comment le signal pour ce stem change tout au long de la durée de la vidéo.

Dilate Masks

• Chaque groupe coloré correspond à la couleur du masque de dilation qui sera généré par celui-ci.
• Réglez le rayon min et max pour le masque de dilation, ainsi que sa forme, en utilisant le nœud suivant :

• forme : 'cercle' est le plus précis mais prend plus de temps à générer. Réglez cela lorsque vous êtes prêt pour le rendu final. 'carré' est rapide à calculer mais moins précis, meilleur pour tester le workflow et décider des images IP adapter.
• max_radius : Le rayon du masque en pixels lorsque la valeur d'amplitude est max (1.0).
• min_radius : Le rayon du masque en pixels lorsque la valeur d'amplitude est min (0.0).
• Si vous avez déjà une vidéo de masque composite générée, vous pouvez désactiver la sourdine du groupe 'Override Composite Mask' et la télécharger. Il est recommandé de contourner les groupes de masques de dilation si vous remplacez pour gagner du temps de traitement.

Models

• Utilisez un bon modèle LCM pour le point de contrôle. Je recommande ParadigmLCM de Machine Delusions.
• Fusionnez plusieurs modèles ensemble en utilisant le Model Merge Stack pour obtenir divers effets intéressants. Assurez-vous que les poids totalisent 1.0 pour les modèles activés.
• Optionnellement, spécifiez le AnimateLCM_sd15_t2v_lora.safetensors avec un poids faible de 0.18 pour améliorer encore le résultat final.
• Ajoutez des Loras supplémentaires au modèle en utilisant le Lora stacker sous le chargeur de modèles.

AnimateDiff

• Réglez un Motion Lora différent de celui que j'ai utilisé (LiquidAF-0-1.safetensors)
• Augmentez/diminuez les paramètres Scale et Effect pour augmenter/diminuer la quantité de mouvement dans le résultat.

IP Adapters

• Ici, vous pouvez spécifier les images de référence qui seront utilisées pour rendre les arrière-plans de chaque masque de dilation, ainsi que votre/vos sujet(s) vidéo.
• La couleur de chaque groupe représente le masque qu'il cible :

Rouge, Vert, Bleu :

• Images de référence de masque de sujet.

Noir :

• Image de masque d'arrière-plan, téléchargez une image de référence pour l'arrière-plan.

Blanc, Jaune, Magenta, Cyan :

• Images de référence de masque de dilation, téléchargez une image de référence pour chaque masque de dilation de couleur utilisé.

ControlNet

• Ce workflow utilise 5 controlnets différents, y compris AD, Lineart, QR Code, Depth, et OpenPose.
• Toutes les entrées des controlnets sont générées automatiquement
• Vous pouvez choisir de remplacer la vidéo d'entrée pour les controlnets Lineart, Depth, et OpenPose si désiré en désactivant la sourdine des groupes 'Override' comme vu ci-dessous :

• Il est recommandé de désactiver également la sourdine des groupes 'Generate' si vous remplacez pour gagner du temps de traitement.

Conseil :

• Contournez le Ksampler et commencez un rendu avec votre vidéo d'entrée complète. Une fois que toutes les vidéos de préprocesseur sont générées, enregistrez-les et téléchargez-les dans les remplacements respectifs. Désormais, lorsque vous testerez le workflow, vous n'aurez plus à attendre que chaque vidéo de préprocesseur soit générée individuellement.

Sampler

• Par défaut, le groupe de sampler HiRes Fix sera mis en sourdine pour gagner du temps de traitement lors des tests
• Je recommande de contourner également le groupe Sampler lors des essais de paramètres de masque de dilation pour gagner du temps.
• Pour les rendus finaux, vous pouvez désactiver la sourdine du groupe HiRes Fix qui mettra à l'échelle et ajoutera des détails au résultat final.

Output

• Il y a deux groupes de sortie : celui de gauche est pour la sortie de sampler standard, et celui de droite est pour la sortie de sampler HiRes Fix.

À propos de l'auteur

Akatz AI :

• Site web :
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Contacts :

• Email : akatz.hello@gmail.com