Guia para Usar o ComfyUI Reactor para Troca de Rosto em Vídeo

Olá, amantes de animação com IA! Estamos embarcando em uma jornada emocionante no mundo da troca de rostos do ComfyUI. Aqui, apresentamos a você o fluxo de trabalho do ComfyUI Reactor, permitindo que você troque um único rosto ou vários rostos em um vídeo!

Nós abordaremos:

1. Roop vs. Reactor
2. O que é ComfyUI Reactor?
3. Como Usar o Reactor no ComfyUI?
   • Configurando Suas Imagens
   • Modelo de Troca de Rosto
   • Detecção de Rosto
   • Restauração de Rosto
   • Visibilidade de Restauração de Rosto e Peso do CodeFormer (Fidelidade)
   • Detectar Gêneros
   • Introduzindo o Índice de Rosto para Trocas de Rosto Únicas ou Múltiplas em Vídeo
4. Interpolação Inteligente de Quadros, se necessário
5. Redimensionar e Refinar, se necessário

1. Roop vs. Reactor

Acho que alguns de vocês já usaram a extensão Roop no Automatic 1111 para esses tipos de experimentos criativos, mas o código para Roop foi descontinuado. Os designers de motion e animadores estão adotando o novo campeão da troca de rostos – ReActor no ComfyUI. Essa ferramenta não é apenas uma atualização do Roop; é uma revolução completa. O ReActor transformou a troca de rostos em uma parte perfeita e empolgante do seu kit de ferramentas criativas.

Então, por que o ReActor é a nova referência para troca de rostos? Aqui está o resumo:

• Trocas de Rosto em Alta Resolução com Upscaling: Diga adeus a imagens borradas e olá a visuais nítidos e cristalinos.
• Amigável para CPU: Não há necessidade de uma GPU de ponta, tornando-o acessível para mais usuários.
• Compatibilidade Universal: Funciona perfeitamente com os modelos SDXL e 1.5 – é como ter um controle remoto universal para troca de rostos!
• Detecção Inteligente: A detecção automática de gênero e idade significa que ele sabe exatamente quem é quem no seu vídeo.
• Criação Sem Censura: Sem filtro NSFW, sua criatividade pode realmente se descontrolar.
• Melhorias Contínuas: O ReActor continua ficando mais inteligente e melhor, como um vinho fino que envelhece graciosamente.

Agora, vamos fazer mais do que apenas falar sobre isso; vamos mergulhar em como usar o Reactor no ComfyUI e como configurar os parâmetros no Reactor! Com o ReActor, suas possibilidades criativas são infinitas.

2. O que é ComfyUI Reactor?

O ComfyUI Reactor é uma extensão de nó rápida e simples para troca de rostos no ComfyUI. Ele aproveita vários modelos para facilitar a detecção de rostos, a troca de rostos e a restauração de rostos, mantendo a facilidade de uso.

3. Como Usar o Reactor no ComfyUI?

Tudo bem, vamos mergulhar no processo emocionante de criar seu fluxo de trabalho. Com o Reactor, você poderá adicionar alguns efeitos incríveis de troca de rosto às suas animações.

3.1 Configurando Suas Imagens

Antes de tudo, você precisa escolher sua 'imagem de origem' - pense nisso como o doador do rosto. Em seguida, escolha sua 'imagem de entrada' – essa é a sortuda que receberá o novo rosto.

3.2 Modelo de Troca de Rosto

Já baixamos o modelo inswapper_128.onnx, modelos pré-treinados inswapper_128.onnx, que são fornecidos pelo InsightFace.

3.3 Detecção de Rosto

A Detecção de Rosto é como ter um detetive digital que localiza rostos nas suas imagens de origem e entrada. Temos uma variedade de detetives - resnet50, mobile0.25, YOLOv5l e YOLOv5n. Mas nosso favorito é o retinaface_resnet50. Seu desempenho é bom.

3.4 Restauração de Rosto

Aqui, você pode escolher um modelo para restauração de rosto. Alguns preferem o GF PGN, mas experimente o Code Forer - também é ótimo!

3.5 Visibilidade de Restauração de Rosto e Peso do CodeFormer (Fidelidade)

Essas configurações são como afinar sua guitarra. As configurações padrão são 1,00 para visibilidade e 0,75 para peso do CodeFormer, mas não hesite em brincar e ver quais melodias você pode criar.

3.6 Detectar Gêneros? Talvez Não

A opção 'detectar gêneros' decide se você deseja que o modelo determine o gênero nas imagens. O ReActor fará a troca de rosto apenas se atender à condição especificada. Na minha experiência, defini-lo como 'não' produz ótimos resultados. Talvez seja como dizer ao modelo: "Todos os olhos no rosto, modelo bebê!"

3.7 Introduzindo o Índice de Rosto

O Índice de Rosto ajuda o sistema a identificar cada rosto em suas imagens. Os rostos são marcados da esquerda para a direita e de cima para baixo em suas respectivas imagens. Dessa forma, o sistema sabe exatamente quem é quem.

3.7.1 Configurando para uma Troca de Rosto Única

Tem apenas um rosto para trocar? Fácil! Tanto o rosto de origem quanto o rosto de entrada terão um índice de 0.

3.7.2 Configurando para Vários Rostos

Agora, se você está se sentindo ambicioso e deseja trocar vários rostos, veja como é feito:

Troca de Vários Rostos em Imagens Separadas

• Ao lidar com o personagem à esquerda em sua animação, defina tanto o Índice de Rosto de Origem quanto o de Entrada como 0. Isso instrui o Reactor a "Utilizar a Imagem de Origem para substituir o personagem da esquerda na imagem de entrada".
• Para o personagem posicionado à direita, ajuste o Índice de Origem para 0 e o Índice de Rosto de Entrada para 1. Isso direciona o Reactor a "Empregar a Imagem de Origem para substituir o personagem da direita na imagem de entrada".
• Lembre-se, se cada personagem estiver em uma imagem separada, você precisará de dois conjuntos de nós do Reactor.

Troca de Vários Rostos em Uma Imagem

• Se você tiver uma imagem com dois personagens, um nó do Reactor será suficiente.
• Aqui é onde fica divertido. Você pode misturar e combinar rostos. Digamos que você queira trocar o segundo rosto na imagem de entrada (esse é o índice = 1) com o primeiro rosto na imagem de origem (índice = 0), e você deseja trocar o primeiro rosto na imagem de entrada (esse é o índice = 0) com o segundo rosto na imagem de origem (índice = 1). Tudo o que você precisa fazer é definir seus índices assim: Origem - 0,1; Entrada - 1,0.

4. Interpolação Inteligente de Quadros, se necessário

Aqui está uma dica útil - considere usar um interpolador de quadros. Imagine isso como uma máquina do tempo para os quadros do seu vídeo. Funciona maravilhas ao reduzir o número de quadros que você precisa processar inicialmente e, em seguida, os reconstrói brilhantemente depois. Isso é particularmente útil se você teve que comprometer a qualidade do seu vídeo em prol de um processamento mais rápido. Pense nessa etapa como uma varinha mágica que ajuda você a recuperar um pouco da clareza e dos detalhes perdidos.

5. Redimensionar e Refinar, se necessário

Você também pode redimensionar as imagens do seu vídeo antes de passá-las para o interpolador. Embora seja difícil alcançar a qualidade do arquivo original, certamente é melhor do que nada.

Autor: Editores do RunComfy

Nossa equipe de editores trabalha com IA há mais de 15 anos, começando com NLP/Visão na era de RNN/CNN. Acumulamos uma quantidade enorme de experiências em Chatbot/Arte/Animação com IA, como BERT/GAN/Transformer, etc. Fale conosco se precisar de ajuda com arte, animação e vídeo com IA.