ToonCrafter | Interpolação Generativa de Desenhos Animados

1. O que é o ToonCrafter?

ToonCrafter é uma técnica avançada de IA que interpola entre duas imagens de desenho animado usando pre-trained image-to-video diffusion priors. Isso permite que o ToonCrafter gere vídeos interpolados a partir de duas imagens de desenho animado distintas, criando uma transição suave entre elas. Ele suporta a geração de vídeos de até 16 quadros com uma resolução de 512x320 pixels.

2. Como o ToonCrafter funciona?

ToonCrafter é uma ferramenta de IA projetada para criar animações suaves a partir de imagens estáticas de desenhos animados utilizando técnicas avançadas de IA. Ele emprega Latent Diffusion Models (LDMs) para codificar imagens em um espaço latente comprimido, onde o ruído é adicionado e depois progressivamente removido através de um processo de denoising. Este método gera quadros intermediários entre as imagens originais, resultando em animações fluidas​.

Uma característica notável do ToonCrafter é seu Toon Rectification Learning. Este processo adapta o modelo de IA, originalmente treinado em vídeos live-action, para entender e gerar animações de desenhos animados. Ao ajustar o modelo com um grande conjunto de dados de vídeos de desenhos animados de alta qualidade, o ToonCrafter aprende os elementos únicos de movimento e estilo dos desenhos animados, como movimentos exagerados e texturas mais simples​.

O ToonCrafter também incorpora um mecanismo de Detail Injection and Propagation. Isso usa um decodificador 3D baseado em dupla referência para manter a fidelidade visual dos quadros gerados. O decodificador analisa e injeta detalhes em nível de pixel dos quadros de entrada nos novos quadros, garantindo consistência com a arte original e prevenindo artefatos visuais​.

Além disso, o ToonCrafter oferece geração controlável baseada em esboços, permitindo que os animadores forneçam esboços que orientem a criação dos quadros intermediários. Esse recurso dá aos artistas mais controle sobre o processo de animação, permitindo-lhes especificar poses ou movimentos particulares e garantindo que a animação final esteja alinhada com sua visão​​.

3. Como usar o ComfyUI ToonCrafter

ComfyUI ToonCrafter Node: Parâmetros de Entrada

O nó ToonCrafter requer vários parâmetros de entrada que determinam o comportamento e a saída do processo de interpolação. Aqui está uma explicação detalhada de cada parâmetro:

• image: A primeira imagem de entrada (tipo: IMAGE).
• image2: A segunda imagem de entrada (tipo: IMAGE).
• ckpt_name: O nome do checkpoint a ser usado (tipo: STRING, opções: lista de checkpoints disponíveis).
• prompt: Uma descrição textual para orientar a interpolação (tipo: STRING, suporta prompts multiline e dinâmicos).
• seed: Um valor de seed para geração de números aleatórios para garantir a reprodutibilidade (tipo: INT, padrão: 123).
• eta: O parâmetro controla a escala do ruído adicionado durante o processo de difusão. Em modelos de difusão, o ruído é gradualmente reduzido para gerar a imagem ou quadro final. Ajustar o valor de eta determina quanto ruído é introduzido em cada iteração deste processo. (tipo: FLOAT, padrão: 1.0, intervalo: 0.0 a 15.0, passo: 0.1).
• cfg_scale: A escala de orientação sem classificador (tipo: FLOAT, padrão: 7.5, intervalo: 1.0 a 15.0, passo: 0.5).
• steps: Número de etapas de difusão (tipo: INT, padrão: 50, intervalo: 1 a 60, passo: 1).
• frame_count: O número de quadros a serem gerados (tipo: INT, padrão: 10, intervalo: 5 a 30, passo: 1).
• fps: Quadros por segundo para o vídeo de saída (tipo: INT, padrão: 8, intervalo: 1 a 60, passo: 1).

ComfyUI ToonCrafter Node: Parâmetros de Saída

A saída do nó ToonCrafter é uma sequência de quadros interpolados, que podem ser usados para criar um vídeo. Aqui está o que você pode esperar:

• IMAGE: Os quadros gerados do vídeo interpolado. Esses quadros são retornados como um tensor e podem ser processados ​​ou salvos como um arquivo de vídeo.