MimicMotion | Génération de Vidéo de Mouvement Humain

Qu'est-ce que MimicMotion

MimicMotion est un cadre de génération vidéo contrôlable développé par des chercheurs de Tencent et de l'Université Jiao Tong de Shanghai. Il peut générer des vidéos de haute qualité de longueur arbitraire en suivant toute orientation de mouvement fournie. Comparé aux méthodes précédentes, MimicMotion excelle dans la production de vidéos avec des détails riches, une bonne fluidité temporelle et la capacité de générer de longues séquences.

Comment fonctionne MimicMotion

MimicMotion prend une image de référence et une orientation de pose comme entrées. Il génère ensuite une vidéo qui correspond à l'apparence de l'image de référence tout en suivant la séquence de mouvements fournie.

Quelques innovations clés permettent à MimicMotion de performer fortement :

1. Orientation de pose sensible à la confiance : En incorporant des informations de confiance de pose, MimicMotion atteint une meilleure fluidité temporelle et est plus robuste aux données d'entraînement bruyantes. Cela l'aide à bien généraliser.
2. Amplification de la perte régionale : En se concentrant davantage sur les régions de pose à haute confiance, en particulier les mains, cela réduit significativement la distorsion de l'image dans les vidéos générées.
3. Fusion latente progressive : Pour générer des vidéos longues et fluides de manière efficace, MimicMotion génère des segments vidéo avec des cadres qui se chevauchent et fusionne progressivement leurs représentations latentes. Cela permet de générer des vidéos de longueur arbitraire avec un coût computationnel contrôlé.

Le modèle est d'abord pré-entraîné sur de grands ensembles de données vidéo, puis affiné pour la tâche de mimétisme de mouvement. Ce pipeline d'entraînement efficace ne nécessite pas de grandes quantités de données spécialisées.

Comment utiliser ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Après avoir testé différents nœuds MimicMotion disponibles dans ComfyUI, nous recommandons d'utiliser pour les meilleurs résultats.

Étape 1 : Préparer votre entrée pour MimicMotion

Pour commencer l'animation avec ComfyUI MimicMotion, vous aurez besoin de deux ingrédients clés :

• Une image de référence : Il s'agit du cadre initial qui sert de point de départ à votre animation. Choisissez une image qui représente clairement le sujet que vous souhaitez animer.
• Images de pose : Ce sont les images qui définissent la séquence de mouvements. Chaque image de pose doit montrer la position ou la pose souhaitée de votre sujet à un moment précis de l'animation. Vous pouvez créer ces images de pose manuellement ou utiliser des outils d'estimation de pose pour extraire des poses à partir d'une vidéo.

🌟Assurez-vous que votre image de référence et vos images de pose ont la même résolution et le même ratio d'aspect pour des résultats optimaux.🌟

Étape 2 : Charger le modèle MimicMotion

ComfyUI MimicMotion nécessite le modèle MimicMotion pour fonctionner correctement. Dans RunComfy, le modèle est déjà préchargé pour votre commodité. Pour configurer le nœud "DownLoadMimicMotionModel", suivez ces étapes :

• Réglez le paramètre "model" sur "MimicMotion-fp16.safetensors" (ou le nom de fichier du modèle approprié, si différent).
• Sélectionnez la précision souhaitée (fp32, fp16 ou bf16) en fonction de vos capacités GPU. Ce choix peut affecter les performances et la compatibilité.
• Laissez le paramètre "lcm" réglé sur False, sauf si vous souhaitez spécifiquement utiliser la variante LCM (Latent Conditional Motion) du modèle.

Une fois que vous avez configuré les paramètres du nœud, connectez la sortie du nœud "DownloadAndLoadMimicMotionModel" à l'entrée du nœud suivant dans votre workflow. Cela garantira que le modèle MimicMotion chargé est correctement utilisé dans les étapes suivantes de votre pipeline ComfyUI.

Étape 3 : Configurer le MimicMotion Sampler

Le nœud "MimicMotionSampler" est responsable de la génération des cadres animés en fonction de votre entrée. Voici comment le configurer :

• Ajoutez le nœud "MimicMotionSampler" et connectez-le à la sortie du nœud "DownloadAndLoadMimicMotionModel".
• Réglez le paramètre "ref_image" sur votre image de référence et le paramètre "pose_images" sur votre séquence d'images de pose.
• Ajustez les paramètres d'échantillonnage selon vos préférences :
  • "steps" détermine le nombre d'étapes de diffusion (des valeurs plus élevées conduisent à des résultats plus fluides mais des temps de traitement plus longs).
  • "cfg_min" et "cfg_max" contrôlent la force de l'orientation conditionnelle (des valeurs plus élevées adhèrent plus étroitement aux images de pose).
  • "seed" définit la graine aléatoire pour la reproductibilité.
  • "fps" spécifie les images par seconde de l'animation générée.
  • Affinez d'autres paramètres comme "noise_aug_strength", "context_size" et "context_overlap" pour expérimenter différents styles et cohérences temporelles.

Étape 4 : Décoder les échantillons latents

Le nœud "MimicMotionSampler" produit des représentations de l'espace latent des cadres animés. Pour convertir ces latents en images réelles, vous devez utiliser le nœud "MimicMotionDecode" :

• Ajoutez le nœud "MimicMotionDecode" et connectez-le à la sortie du nœud "MimicMotionSampler".
• Réglez le paramètre "decode_chunk_size" pour contrôler le nombre de cadres décodés simultanément (des valeurs plus élevées peuvent consommer plus de mémoire GPU). La sortie du nœud "MimicMotionDecode" sera les cadres animés finaux au format image.

Étape 5 : Améliorer les poses avec MimicMotionGetPoses

Si vous souhaitez visualiser les poses extraites en parallèle de votre image de référence, vous pouvez utiliser le nœud "MimicMotionGetPoses" :

• Connectez l'"ref_image" et les "pose_images" au nœud "MimicMotionGetPoses".
• Réglez les paramètres "include_body", "include_hand" et "include_face" pour contrôler quels points clés de pose sont affichés. La sortie inclura l'image de référence avec la pose extraite et les images de pose individuelles.

Conseils et meilleures pratiques

Voici quelques conseils pour vous aider à tirer le meilleur parti de ComfyUI MimicMotion :

• Expérimentez avec différentes images de référence et séquences de poses pour créer une variété d'animations.
• Ajustez les paramètres d'échantillonnage pour équilibrer la qualité et le temps de traitement en fonction de vos besoins.
• Utilisez des images de pose de haute qualité et cohérentes pour obtenir les meilleurs résultats. Évitez les changements drastiques de perspective ou d'éclairage entre les poses.
• Surveillez l'utilisation de la mémoire GPU, surtout lorsque vous travaillez avec des images haute résolution ou des animations longues.
• Profitez du nœud "DiffusersScheduler" pour personnaliser la planification du bruit pour des effets uniques.

ComfyUI MimicMotion est un outil puissant et polyvalent qui vous permet de créer facilement des animations époustouflantes. En comprenant le workflow et en explorant les différents paramètres, vous serez en mesure d'animer n'importe qui avec facilité. En vous plongeant dans le monde de l'animation, n'oubliez pas d'expérimenter, d'itérer et de vous amuser tout au long du processus. Avec ComfyUI MimicMotion, les possibilités sont infinies, alors profitez de donner vie à vos visions créatives !