Tutorial/Fluxo de Trabalho AnimateDiff ComfyUI - Animação Stable Diffusion

Olá pessoal! Já se maravilhou com a ideia de transformar texto em vídeos? Isso não é novidade, mas está ficando cada vez mais interessante. Hoje, vamos conversar sobre uma dessas ferramentas legais, o AnimateDiff no ambiente ComfyUI. Seja você um artista digital ou apenas adora explorar novas tecnologias, o AnimateDiff oferece uma maneira empolgante de transformar suas ideias de texto em GIFs animados e vídeos.

Vamos abordar:

1. Como o AnimateDiff funciona?
2. Fluxo de trabalho AnimateDiff ComfyUI - Sem necessidade de instalação, totalmente gratuito
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Novo Módulo de Movimento no Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. Configurações do AnimateDiff: Como usar o AnimateDiff no ComfyUI
   • Modelos AnimateDiff
   • Modelos CheckPoint para AnimateDiff
   • Beta Schedule
   • Motion Scale
   • Context Batch Size determina o comprimento da animação
   • Context Length
   • Motion LoRA para Dinâmica da Câmera (Apenas AnimateDiff v2)
5. Prompt AnimateDiff
6. Prompt Travel AnimateDiff / Agendamento de Prompts
7. ComfyUI Hires Fix - Aprimorando Suas Animações
8. Fluxo de Trabalho AnimateDiff ComfyUI Pronto para Uso: Explorando a Animação Stable Diffusion

1. Como o AnimateDiff funciona?

O núcleo do AnimateDiff é um módulo de modelagem de movimento. Pense nele como o cérebro da operação, aprendendo tudo sobre movimento a partir de vários clipes de vídeo. É como ter um professor de dança que conhece todos os passos do livro. Esse módulo se integra perfeitamente a modelos pré-treinados de texto para imagem. Então, você não está mais limitado a imagens estáticas - suas criações podem dançar, pular e girar!

2. Fluxo de Trabalho AnimateDiff ComfyUI - Sem Necessidade de Instalação, Totalmente Gratuito

Confira o vídeo acima, que foi criado usando o fluxo de trabalho AnimateDiff ComfyUI. Agora, você pode mergulhar diretamente neste Fluxo de Trabalho Animatediff sem nenhum incômodo de instalação. Temos tudo configurado para você em um ComfyUI baseado na nuvem, completo com o fluxo de trabalho AnimateDiff e todos os modelos essenciais e nós personalizados do Animatediff V3, Animatediff SDXL e Animatediff V2.

Sinta-se à vontade para experimentar e brincar com ele. Ou você pode continuar lendo este tutorial sobre como usar o AnimateDiff e depois experimentá-lo mais tarde.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Vamos dar uma volta pelas diferentes versões do AnimateDiff. Cada versão tem seu próprio charme, então prepare-se para um tour rápido!

3.1. AnimateDiff V3: Novo Módulo de Movimento no Animatediff

O AnimateDiff V3 não é apenas uma nova versão, é uma evolução na tecnologia de módulo de movimento, destacando-se com seus recursos refinados. O módulo de movimento v3_sd15_mm.ckpt é o coração desta versão, responsável por animações detalhadas e flexíveis.

Vamos desvendar a mágica tecnológica por trás disso. O protagonista aqui é o módulo Domain Adapter LoRA, que é essencialmente um preparador para o módulo de movimento. Ao treinar em quadros estáticos do conjunto de dados de vídeo, este módulo LoRA equipa o AnimateDiff para ser mais hábil no tratamento de movimento. Bem legal, não é?

Ao usar o AnimateDiff V3, você notará que ele não necessariamente supera o Animatediff V2 em todos os aspectos. Em vez disso, ele oferece diferentes tipos de movimentos, adicionando mais ferramentas ao seu arsenal criativo.

Prompt Positivo：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Prompt Negativo: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Se você está interessado em vídeos de alta resolução, o AnimateDiff SDXL pode ser uma escolha. Executado no módulo de movimento mm_sdxl_v10_beta.ckpt, ele foi projetado para criar animações de resolução 1024x1024 com 16 quadros. Apenas um aviso, ele ainda está em Beta, então pode ser prudente esperar um pouco antes de mergulhar.

Use o mesmo Prompt Positivo e Prompt Negativo do AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 é o clássico! Com mm_sd_v15_v2.ckpt, esta versão oferece MotionLoRA para oito movimentos essenciais de câmera: Zoom In/Out, Pan Left/Right, Tilt Up/Down e Rolling Clockwise/Anticlockwise. Animatediff V2 é perfeito se você está procurando por movimentos dinâmicos de câmera para adicionar drama às suas animações.

Use o mesmo Prompt Positivo e Prompt Negativo do AnimateDiff V3

CheckPoint: toonyou_beta6

4. Configurações do AnimateDiff: Como Usar o AnimateDiff no ComfyUI

Quando você entrar no fluxo de trabalho AnimateDiff no ComfyUI, encontrará um grupo rotulado como "AnimateDiff Options", conforme mostrado abaixo. Esta área contém as configurações e recursos que você provavelmente usará ao trabalhar com o AnimateDiff.

4.1. Modelos AnimateDiff

Primeiro, escolha o módulo de movimento AnimateDiff que deseja experimentar no menu suspenso model_name:

• v3_sd15_mm.ckpt para AnimateDiff V3
• mm_sdxl_v10_beta.ckpt para AnimateDiff SDXL
• mm_sd_v15_v2.ckpt para AnimateDiff V2

4.2. Modelos CheckPoint para AnimateDiff

AnimateDiff precisa de um modelo Stable Diffusion chickpoint.

Para AnimateDiff V2 e V3, você deve usar um modelo SD v1.5. Modelos como realisticVisionV60B1_V51VAE, toonyou_beta6 e cardos_Animev2.0 são as principais escolhas.

Se você está tendendo para o AnimateDiff SDXL, mire em um modelo SDXL, como sd_xl_base_1.0 ou dreamshaperXL10_alpha2Xl10.

No ambiente em nuvem RunComfy, todos os módulos de movimento e modelos de checkpoint estão pré-instalados para sua conveniência.

4.3. Beta Schedule

Beta Schedule no AnimateDiff determina o comportamento do processo de redução de ruído durante a geração da animação.

Para AnimateDiff V3 e V2, a configuração sqrt_linear é geralmente o caminho a seguir, mas não hesite em experimentar linear para alguns efeitos interessantes.

Para AnimateDiff XL, fique com linear (AnimateDiff-SDXL).

4.4. Motion Scale

Motion Scale no AnimateDiff permite controlar a intensidade do movimento. Menos de 1 significa movimento mais sutil; mais de 1 significa movimento mais pronunciado.

4.5. Context Batch Size Determina o Comprimento da Animação

Batch Size no AnimateDiff representa os blocos de construção de sua animação. Ele serve como o fator fundamental que influencia o comprimento de sua animação. Ele determina o número de "cenas" ou segmentos que sua animação terá.

Tamanhos de Batch maiores levam a mais cenas em sua animação, permitindo uma experiência de narrativa mais longa e elaborada. Não há limite superior para o Batch Size, então você é livre para criar animações tão longas ou curtas quanto desejar. O Batch Size padrão é 16.

• Batch Size 16 = Um vídeo rápido de 2 segundos
• Batch Size 32 = Um clipe breve de 4 segundos
• Batch Size 64 = Um recurso mais extenso de 8 segundos

4.6. Context Length

Uniform Context Length no AnimateDiff desempenha um papel crucial para garantir transições suaves entre as cenas definidas pelo seu Batch Size. É como ter um editor habilidoso que sabe exatamente como costurar as cenas para o fluxo mais natural.

O comprimento que você definir para o Uniform Context ditará a natureza das transições entre as cenas. Um Uniform Context Length mais longo leva a transições mais suaves e graduais, tornando a mudança de uma cena para outra quase imperceptível. Por outro lado, um comprimento mais curto criará transições mais rápidas e perceptíveis, o que pode ser ideal para certos efeitos de narrativa. Ocomprimento padrão do Uniform Context é 16.

4.7. Motion LoRA para Dinâmica da Câmera (Apenas AnimateDiff v2)

Motion LoRAs são exclusivamente compatíveis com AnimateDiff v2. Essas adições inteligentes trazem uma camada dinâmica de movimento de câmera para suas animações. Ao usar Motion LoRAs, é crucial encontrar o equilíbrio certo com o peso LoRA. Definir em torno de 0,75 tende a ser o ponto ideal, proporcionando movimentos suaves da câmera sem artefatos de fundo incômodos.

Além disso, você tem a liberdade criativa de encadear vários Motion LoRAs. Ao combinar estrategicamente diferentes modelos Motion LoRA, você pode orquestrar movimentos complexos de câmera, experimentar e encontrar a mistura perfeita de movimentos para sua visão única de animação, elevando assim sua animação a uma obra-prima cinematográfica.

Aqui está um exemplo de uso dos recursos "Pan Left" e "Zoom In" do Motion LoRa juntos.

5. Prompt AnimateDiff

Tudo bem, agora que você tem seu modelo e configurações do AnimateDiff ajustados, é hora do show! É aqui que você transforma seu texto em animações de vídeo.

Aqui está um exemplo de um prompt positivo e um prompt negativo:

Prompt Positivo：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Prompt Negativo: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Travel / Agendamento de Prompts

Mas espere, tem mais! Já experimentou o Prompt Travel / Agendamento de Prompts? Pense nisso como entrar nos sapatos de um diretor de cinema. Você está no controle, criando sua história cena por cena. É como montar um quebra-cabeça onde cada peça é um momento de sua história.

Como Funciona o Prompt Travel?

Imagine que você está criando um mini-filme. Você define o Prompt 1 no Frame 1 e o Prompt 2 no Frame 8, e assim por diante. AnimateDiff misturará esses prompts perfeitamente, criando uma transição suave do Frame 1 para o Frame 8.

Dica: Embora o Prompt Travel possa ser intrigante, é importante observar que nem sempre é um sucesso garantido. A eficácia do Prompt Travel também depende do modelo checkpoint que você selecionar. Por exemplo, o modelo cardos_Animev2.0 é compatível com Prompt Travel, mas esse não é o caso de todos os modelos. Além disso, o resultado pode ser imprevisível - alguns prompts podem não se misturar bem, resultando em transições menos ideais. Isso torna o Prompt Travel mais um recurso experimental do que uma ferramenta garantida para animação perfeita.

Colocamos o nó "Prompt Travel / Agendamento de Prompts" no final do fluxo de trabalho AnimateDiff ComfyUI. Se você está curioso para experimentar, precisará usar "Prompt Travel" no lugar da opção regular "Prompt".

7. ComfyUI Hires Fix - Aprimorando Suas Animações

Ao empregar o AnimateDiff junto com o Hi-Res fix, você pode aprimorar a resolução de suas imagens. Esse processo transforma imagens ligeiramente desfocadas em obras-primas cristalinas. Nesta seção, apresentaremos dois métodos.

7.1. Latent Upscale

Aumento de escala latente tradicional no ComfyUI. Ao aplicar configurações como força de denoising de 0,6 e escolher um aumento de escala de 1,5x, você verá suas animações se transformarem com detalhes mais ricos e clareza mais nítida. É como colocar óculos e de repente ver o mundo em alta definição!

7.2. ControlNet Upscale

O aumento de escala latente tradicional é legal, mas vamos elevar o nível com o Latent Upscale Assistido por Control Net. Ele usa ControlNets para um aumento de escala mais preciso, garantindo que sua animação mantenha sua integridade. Com a adição de um pré-processador de lineart e o modelo controlnet certo, você aprimorará sua arte enquanto mantém sua alma intacta.

8. Fluxo de Trabalho AnimateDiff ComfyUI Pronto para Uso: Explorando a Animação Stable Diffusion

Nós mergulhamos no empolgante mundo do AnimateDiff no ComfyUI. Para aqueles ansiosos para experimentar o Fluxo de Trabalho AnimateDiff ComfyUI que destacamos, definitivamente experimente o RunComfy, um ambiente em nuvem equipado com uma GPU poderosa e totalmente preparado, incluindo tudo, desde modelos essenciais até nós personalizados. Sem necessidade de configuração manual! Apenas um playground para liberar sua criatividade. 🌟

Autor: Editores RunComfy

Nossa equipe de editores trabalha com IA há mais de 15 anos, começando com NLP/Vision na era de RNN/CNN. Acumulamos uma enorme quantidade de experiências em IA Chatbot/Arte/Animação, como BERT/GAN/Transformer, etc. Fale conosco se precisar de ajuda com arte, animação e vídeo de IA.