LivePortrait | Animar Retratos | Vid2Vid

Graças ao , criar animações LivePortrait realistas no ComfyUI agora é mais fácil. A seguir está uma descrição dos principais componentes e parâmetros do workflow dele.

Por favor, leia a descrição primeiro para entender as etapas do workflow. Depois de se familiarizar com o processo LivePortrait Img2Vid, você notará algumas pequenas diferenças entre os workflows LivePortrait Vid2Vid e Img2Vid.

A Diferença Entre ComfyUI LivePortrait Vid2Vid e Img2Vid

1. Carregar vídeos usando "VHS_LoadVideo" em vez de imagens

• No workflow LivePortrait Img2Vid, você carrega uma imagem estática como fonte usando o nó "LoadImage". No entanto, no workflow Vid2Vid, você precisa carregar um vídeo como fonte. Ajuste o "frame_load_cap" para controlar quantos frames são carregados.
• Redimensione o vídeo-fonte para uma resolução maior, como 1024x1024, para melhor qualidade. Depois de carregar o vídeo-fonte com "VHS_LoadVideo", use o nó "ImageResizeKJ" para aumentar a resolução dos frames para algo como 1024x1024. Isso ajudará a manter a nitidez e os detalhes na saída final. Ao trabalhar com vídeos, é recomendado usar uma resolução maior para a fonte em comparação com o workflow Img2Vid. Enquanto 512x512 é frequentemente suficiente para imagens estáticas, vídeos se beneficiam de resoluções mais altas para preservar detalhes e qualidade.
• Os frames do vídeo de condução ainda podem ser redimensionados para uma resolução mais baixa, como 480x480, para economizar tempo de processamento, pois eles apenas fornecem informações de movimento.

2. Use o modo de movimento relativo "source_video_smoothed" para resultados mais suaves no LivePortrait Vid2Vid

• O nó "LivePortraitProcess" tem um parâmetro "relative_motion_mode" que controla como o movimento é transferido do vídeo de condução para a fonte. Para Vid2Vid, é recomendado usar o modo "source_video_smoothed".
• Nesse modo, o movimento do LivePortrait é suavizado ao longo do tempo com base no vídeo de entrada, o que ajuda a criar resultados mais coerentes e estáveis temporalmente. Isso é especialmente importante para vídeos, onde saltos ou tremores repentinos no movimento podem ser mais perceptíveis do que em imagens únicas.
• Outros modos de movimento, como "relative" ou "single_frame", podem funcionar melhor para Img2Vid, mas "source_video_smoothed" é tipicamente a melhor escolha para Vid2Vid.

3. Conecte o FPS e o áudio do vídeo-fonte ao "VHS_VideoCombine" para manter a sincronização de áudio no LivePortrait Vid2Vid

• Ao criar o vídeo de saída final com o nó "VHS_VideoCombine", é importante manter a sincronização de áudio com os frames de vídeo. Isso envolve duas conexões chave:
• Primeiro, conecte o áudio do vídeo-fonte à entrada "audio" do "VHS_VideoCombine" usando um nó "Reroute". Isso garantirá que o áudio original seja usado no vídeo de saída.
• Segundo, conecte a taxa de frames (FPS) do vídeo-fonte à entrada "frame_rate" do "VHS_VideoCombine". Você pode obter o FPS usando o nó "VHS_VideoInfo", que extrai metadados do vídeo-fonte. Isso garantirá que o vídeo de saída corresponda ao tempo do vídeo-fonte.
• Ao lidar cuidadosamente com o áudio e a taxa de frames, você pode criar uma saída LivePortrait Vid2Vid que mantém a sincronização e o tempo adequados, o que é crucial para um resultado realista e assistível.