LivePortrait | Animer des portraits | Vid2Vid

Grâce au , créer des animations LivePortrait réalistes dans ComfyUI est désormais plus facile. Voici une répartition des principaux composants et paramètres de son workflow.

Veuillez lire d'abord la description pour comprendre les étapes du workflow. Après vous être familiarisé avec le processus LivePortrait Img2Vid, vous remarquerez quelques petites différences entre les workflows LivePortrait Vid2Vid et Img2Vid.

La différence entre ComfyUI LivePortrait Vid2Vid et Img2Vid

1. Charger les vidéos en utilisant "VHS_LoadVideo" au lieu des images

• Dans ce workflow LivePortrait Img2Vid, vous chargez une image statique comme source en utilisant le nœud "LoadImage". Cependant, dans le workflow Vid2Vid, vous devez charger une vidéo comme source à la place. Ajustez le "frame_load_cap" pour contrôler le nombre d'images chargées.
• Redimensionnez la vidéo source à une résolution plus élevée comme 1024x1024 pour une meilleure qualité. Après avoir chargé la vidéo source avec "VHS_LoadVideo", utilisez le nœud "ImageResizeKJ" pour augmenter la résolution des images à 1024x1024. Cela aidera à maintenir la netteté et les détails dans le rendu final. Lorsqu'on travaille avec des vidéos, il est recommandé d'utiliser une résolution plus élevée pour la source par rapport au workflow Img2Vid. Bien que 512x512 soit souvent suffisant pour les images statiques, les vidéos bénéficient de résolutions plus élevées pour préserver les détails et la qualité.
• Les images de la vidéo pilote peuvent toujours être redimensionnées à une résolution plus basse comme 480x480 pour gagner du temps de traitement, car elles ne fournissent que des informations de mouvement.

2. Utilisez le mode de mouvement relatif "source_video_smoothed" pour des résultats Vid2Vid LivePortrait plus fluides

• Le nœud "LivePortraitProcess" a un paramètre "relative_motion_mode" qui contrôle comment le mouvement est transféré de la vidéo pilote à la source. Pour Vid2Vid, il est recommandé d'utiliser le mode "source_video_smoothed".
• Dans ce mode, le mouvement LivePortrait est lissé au fil du temps en fonction de la vidéo d'entrée, ce qui aide à créer des résultats plus cohérents et stables dans le temps. Cela est particulièrement important pour les vidéos, où les sauts ou les secousses soudains dans le mouvement peuvent être plus visibles que dans les images uniques.
• D'autres modes de mouvement comme "relative" ou "single_frame" peuvent mieux fonctionner pour Img2Vid, mais "source_video_smoothed" est généralement le meilleur choix pour Vid2Vid.

3. Connectez le FPS de la vidéo source et l'audio à "VHS_VideoCombine" pour maintenir la synchronisation audio pour LivePortrait Vid2Vid

• Lors de la création de la vidéo finale avec le nœud "VHS_VideoCombine", il est important de maintenir la synchronisation audio avec les images vidéo. Cela implique deux connexions clés :
• Premièrement, connectez l'audio de la vidéo source à l'entrée "audio" de "VHS_VideoCombine" en utilisant un nœud "Reroute". Cela garantira que l'audio original est utilisé dans la vidéo finale.
• Deuxièmement, connectez la fréquence d'images (FPS) de la vidéo source à l'entrée "frame_rate" de "VHS_VideoCombine". Vous pouvez obtenir le FPS en utilisant le nœud "VHS_VideoInfo", qui extrait les métadonnées de la vidéo source. Cela garantira que la vidéo finale correspond au timing de la source.
• En gérant soigneusement l'audio et la fréquence d'images, vous pouvez créer une sortie LivePortrait Vid2Vid qui maintient une synchronisation et un timing appropriés, ce qui est crucial pour un résultat réaliste et regardable.