Blender + ComfyUI | Renderização AI de Animações 3D

Renderizações AI de Animações 3D: Blender + ComfyUI

Este fluxo de trabalho inovador, desenvolvido pelo talentoso Mickmumpitz, combina Blender e ComfyUI para produzir animações 3D impressionantes renderizadas com AI. Recomendamos fortemente conferir o canal dele no YouTube para mais inspiração.

A seguir, usamos diferentes materiais para reproduzir sua abordagem. Aqui estão os passos:

🌟 Baixe todos os nossos materiais do Blender para experimentos neste link.

Parte 1: Usando Blender para Criar Animações 3D e Passes de Renderização

1. Configure uma Cena 3D no Blender

• Comece importando ou modelando os ativos 3D necessários, como personagens, ambientes e adereços. Arranje esses ativos na cena, posicione as câmeras e configure quaisquer animações necessárias. Remova materiais, texturas e luzes existentes, pois o ComfyUI irá gerar esses elementos durante o processo de renderização.

2. Renderize o Passe de Profundidade

• O passe de profundidade fornece informações essenciais de distância para melhorar a percepção de profundidade, que será utilizada no ComfyUI.
• No Blender, vá para Propriedades da Camada de Visualização, ative o passe Z e renderize a imagem. Na aba Composição, conecte um nó de visualização à saída de profundidade. Normalize os valores de profundidade usando um nó Map Range para criar um gradiente preto e branco representando a profundidade da cena.

3. Renderize o Passe de Contorno

• O passe de contorno produz bordas de arte linear que definem as formas e silhuetas dos objetos para uso no ComfyUI.
• No Blender, use a ferramenta Freestyle para criar contornos baseados na geometria 3D. Defina a cor para branco e ajuste a espessura da linha. Renderize a imagem e processe-a na aba Composição.

4. Renderize o Passe de Máscara

• O passe de máscara atribui cores únicas a diferentes objetos. Certifique-se de anotar os Códigos Hex dessas cores, pois eles serão usados para prompts AI específicos no ComfyUI.
• No Blender, atribua shaders de emissão simples com cores distintas para cada objeto. Renderize a imagem e salve-a.

Para instruções detalhadas sobre esses passos, consulte o tutorial no YouTube de Mickmumpitz se você não estiver familiarizado com o Blender.

Após completar a Parte 1, você terá criado três tipos de sequências de imagens: imagens de máscara, imagens de profundidade e imagens de contorno. Estas serão usadas na próxima etapa com o ComfyUI.

Parte 2: Usando ComfyUI para Renderizar Animações AI

O fluxo de trabalho do ComfyUI de Mickmumpitz consiste em vários componentes-chave:

1. Carregar Sequências de Imagens

• Carregar Sequências de Máscara: Carregue a sequência de máscara e depois use o nó "regional conditioning by color mask" para separar os objetos na imagem da máscara. Insira o Código Hex obtido na Etapa 1 no campo "mask_color". Este nó então segmentará automaticamente os objetos com base nas cores atribuídas. 🌟 Nota: Usamos Códigos Hex específicos para nossos materiais neste fluxo de trabalho. Se você usar uma imagem de máscara diferente, certifique-se de inserir o Código Hex correspondente no campo "mask_color". Isso garante que o nó "regional conditioning by color mask" segmente corretamente os objetos.
• Carregar Sequências de Profundidade: Carregue as sequências de profundidade para fornecer informações sobre a distância dos objetos na cena.
• Carregar Sequências de Contorno: Carregue as sequências de contorno para definir as formas e bordas dos objetos na cena.

🌟 Como Carregar Sequências de Imagens por Caminho

Organize Suas Sequências

• Coloque suas sequências de máscara em uma pasta, por exemplo, {mask}.
• Coloque suas sequências de profundidade em uma pasta separada, por exemplo, {depth}.
• Coloque suas sequências de contorno em outra pasta, por exemplo, {outline}.

Carregar Pastas

• Use nosso navegador de arquivos para carregar essas pastas no diretório ComfyUI/input.

Caminho do Diretório

• O caminho completo do diretório deve ser: /home/user/ComfyUI/input/{folder_name}.
• Por exemplo: /home/user/ComfyUI/input/{mask}.

2. Use Prompts de Texto para Definir Efeitos Visuais

Para Sequências de Máscara, use prompts de texto para especificar os efeitos visuais desejados para cada objeto na cena.

• Prompt Principal: Este prompt define o estilo geral e a iluminação para toda a cena. Ele dita o humor, a atmosfera e o tom visual geral que a renderização final deve alcançar.
• Prompts Regionais: Esses prompts fornecem descrições detalhadas para objetos ou áreas específicas dentro da cena. Cada prompt deve corresponder a um objeto ou região distinta, garantindo que cada elemento seja representado com precisão conforme o pretendido.
• Prompt Negativo: Este prompt lista os elementos que devem ser excluídos da renderização. Ele ajuda a evitar que certas características ou objetos apareçam no resultado final, garantindo que a cena permaneça focada e livre de detalhes indesejados.

3. Módulo ControlNet

• Insira as sequências de profundidade no modelo ControlNet Depth.
• Insira as sequências de contorno no modelo ControlNet Canny.

4. Módulo AnimateDiff

• Use este módulo para renderizar animações suaves a partir das sequências processadas.

5. Uso Opcional do IPAdapter

• Use o IPAdapter para orientação adicional de condicionamento para melhorar a consistência e qualidade das imagens geradas.

Ao aproveitar os dados 3D precisos do Blender juntamente com as poderosas capacidades de síntese de imagem do Stable Diffusion via ComfyUI, você pode gerar animações 3D incrivelmente fotorrealistas ou estilizadas com controle criativo total.