LivePortrait | Animer des Portraits | Vid2Vid

Grâce au nœud et au workflow , créer des animations LivePortrait réalistes dans ComfyUI est désormais plus facile. Voici une description des principaux composants et paramètres de son workflow.

Veuillez lire d'abord la description de pour comprendre les étapes du workflow. Après vous être familiarisé avec le processus LivePortrait Img2Vid, vous remarquerez quelques petites différences entre les workflows LivePortrait Vid2Vid et Img2Vid.

La Différence Entre ComfyUI LivePortrait Vid2Vid et Img2Vid

1. Charger des vidéos en utilisant "VHS_LoadVideo" au lieu d'images

• Dans ce workflow LivePortrait Img2Vid, vous chargez une image statique comme source en utilisant le nœud "LoadImage". Cependant, dans le workflow Vid2Vid, vous devez charger une vidéo comme source à la place. Ajustez le "frame_load_cap" pour contrôler combien d'images sont chargées.
• Redimensionnez la vidéo source à une résolution plus élevée comme 1024x1024 pour une meilleure qualité. Après avoir chargé la vidéo source avec "VHS_LoadVideo", utilisez le nœud "ImageResizeKJ" pour mettre à l'échelle les images à une résolution comme 1024x1024. Cela aidera à maintenir la netteté et le détail dans le rendu final. Lors du travail avec des vidéos, il est recommandé d'utiliser une résolution plus élevée pour la source par rapport au workflow Img2Vid. Bien que 512x512 soit souvent suffisant pour les images statiques, les vidéos bénéficient de résolutions plus élevées pour préserver les détails et la qualité.
• Les images de la vidéo de conduite peuvent toujours être redimensionnées à une résolution inférieure comme 480x480 pour économiser du temps de traitement, car elles fournissent seulement des informations de mouvement.

2. Utiliser le mode de mouvement relatif "source_video_smoothed" pour des résultats Vid2Vid LivePortrait plus fluides

• Le nœud "LivePortraitProcess" a un paramètre "relative_motion_mode" qui contrôle comment le mouvement est transféré de la vidéo de conduite à la source. Pour Vid2Vid, il est recommandé d'utiliser le mode "source_video_smoothed".
• Dans ce mode, le mouvement LivePortrait est lissé au fil du temps en fonction de la vidéo d'entrée, ce qui aide à créer des résultats plus cohérents et stables dans le temps. C'est particulièrement important pour les vidéos, où les sauts ou les secousses soudains dans le mouvement peuvent être plus visibles que dans les images uniques.
• D'autres modes de mouvement comme "relative" ou "single_frame" peuvent mieux fonctionner pour Img2Vid, mais "source_video_smoothed" est généralement le meilleur choix pour Vid2Vid.

3. Connecter les FPS de la vidéo source et l'audio à "VHS_VideoCombine" pour maintenir la synchronisation audio pour LivePortrait Vid2Vid

• Lors de la création de la vidéo de sortie finale avec le nœud "VHS_VideoCombine", il est important de maintenir la synchronisation audio avec les images vidéo. Cela implique deux connexions clés :
• Premièrement, connectez l'audio de la vidéo source à l'entrée "audio" de "VHS_VideoCombine" en utilisant un nœud "Reroute". Cela garantira que l'audio original est utilisé dans la vidéo de sortie.
• Deuxièmement, connectez la fréquence d'images (FPS) de la vidéo source à l'entrée "frame_rate" de "VHS_VideoCombine". Vous pouvez obtenir les FPS en utilisant le nœud "VHS_VideoInfo", qui extrait les métadonnées de la vidéo source. Cela garantira que la vidéo de sortie correspond au timing de la source.
• En manipulant soigneusement l'audio et la fréquence d'images, vous pouvez créer une sortie LivePortrait Vid2Vid qui maintient une synchronisation et un timing appropriés, ce qui est crucial pour un résultat réaliste et regardable.