LatentSync| Modelo de Sincronização Labial

LatentSync é uma estrutura de sincronização labial de ponta a ponta que aproveita o poder de modelos de difusão latente condicionados por áudio para a geração realista de sincronização labial. O que diferencia LatentSync é sua capacidade de modelar diretamente as correlações complexas entre componentes de áudio e visual sem depender de qualquer representação de movimento intermediária, revolucionando a abordagem da síntese de sincronização labial.

No núcleo do pipeline do LatentSync está a integração da Stable Diffusion, um modelo generativo poderoso renomado por sua habilidade excepcional de capturar e gerar imagens de alta qualidade. Aproveitando as capacidades da Stable Diffusion, LatentSync pode efetivamente aprender e reproduzir as dinâmicas complexas entre áudio de fala e movimentos labiais correspondentes, resultando em animações de sincronização labial altamente precisas e convincentes.

Um dos principais desafios nos métodos de sincronização labial baseados em difusão é manter a consistência temporal entre os quadros gerados, o que é crucial para resultados realistas. LatentSync enfrenta esse problema de frente com seu inovador módulo de Alinhamento de REPresentação Temporal (TREPA), especificamente projetado para melhorar a coerência temporal das animações de sincronização labial. TREPA emprega técnicas avançadas para extrair representações temporais dos quadros gerados usando modelos de vídeo auto-supervisionados em larga escala. Ao alinhar essas representações com os quadros verdadeiros, a estrutura do LatentSync garante um alto grau de coerência temporal, resultando em animações de sincronização labial notavelmente suaves e convincentes que correspondem de perto ao áudio de entrada.

1.1 Como Usar o Fluxo de Trabalho LatentSync?

Este é o fluxo de trabalho do LatentSync, os nós do lado esquerdo são entradas para upload de vídeo, o meio é o processamento dos nós do LatentSync, e à direita está o nó de saídas.

• Faça upload do seu vídeo nos nós de entrada.
• Faça upload da sua entrada de áudio de diálogos.
• Clique em Renderizar!!!

1.2 Entrada de Vídeo

• Clique e faça upload do seu vídeo de referência que possui rosto.

O vídeo é ajustado para 25 FPS para sincronizar adequadamente com o modelo de Áudio.

1.3 Entrada de Áudio

• Clique e faça upload do seu áudio aqui.

LatentSync estabelece um novo padrão para sincronização labial com sua abordagem inovadora de geração áudio-visual. Combinando precisão, consistência temporal e o poder da Stable Diffusion, LatentSync transforma a maneira como criamos conteúdo sincronizado. Redefina o que é possível em sincronização labial com LatentSync.