Era3D | ComfyUI 3D Pack

Este guia fornece uma introdução abrangente à criação de conteúdo 3D com o modelo "Era3D", utilizando as capacidades avançadas dos nós do "ComfyUI 3D Pack" para otimizar fluxos de trabalho e melhorar a qualidade das saídas.

Parte 1: ComfyUI 3D Pack

1.1. Introdução ao ComfyUI 3D Pack

O ComfyUI 3D Pack é um conjunto extenso de nós que permite que o ComfyUI processe entradas 3D, como Malha e Textura UV, usando algoritmos e modelos de ponta. Ele integra algoritmos avançados de processamento 3D como 3DGS (Gaussian Splatting) e NeRF (Neural Radiance Fields), juntamente com modelos de última geração incluindo Hunyuan3D**,** StableFast3D, InstantMesh, CRM, TripoSR e outros.

Com o ComfyUI 3D Pack, os usuários podem importar, manipular e gerar conteúdo 3D de alta qualidade na interface intuitiva do ComfyUI. Ele suporta uma ampla gama de formatos de arquivo 3D como OBJ, PLY, GLB, permitindo fácil integração de modelos 3D existentes. O pacote também inclui utilitários poderosos de processamento de malhas para editar, limpar e otimizar a geometria 3D.

Um dos principais destaques é a integração da tecnologia NeRF, que permite reconstrução 3D fotorrealista a partir de imagens 2D. Os nós 3DGS permitem renderização e estilização de nuvens de pontos. Os modelos InstantMesh e TripoSR permitem aumento de resolução e super-resolução de malhas 3D. CRM (Modelo de Reconstrução Convolucional) permite recuperar formas 3D a partir de imagens de múltiplas visões e CCM (Mapa de Correção de Cores).

O ComfyUI 3D Pack foi desenvolvido por , com todos os créditos para MrForExample. Para informações detalhadas, consulte .

1.2. ComfyUI 3D Pack: Pronto para Rodar no RunComfy

Agora o ComfyUI 3D Pack está completamente configurado e pronto para uso no site RunComfy. Os usuários não precisam instalar nenhum software ou dependências adicionais. Todos os modelos, algoritmos e ferramentas necessários estão pré-configurados e otimizados para rodar eficientemente no ambiente baseado na web do ComfyUI.

Parte 2: Usando o modelo Era3D com os Nós do ComfyUI 3D Pack

2.1. O que é o Era3D?

Era3D é um método de difusão multiview de última geração que gera imagens multiview de alta qualidade e alta resolução a partir de uma única imagem de entrada. Ele resolve várias limitações dos métodos de geração multiview existentes, como previsões de câmera inconsistentes, atenção multiview ineficiente e baixa resolução de saída. Era3D alcança qualidade superior de reconstrução 3D em comparação com métodos de referência.

Era3D foi desenvolvido por uma equipe de pesquisadores da HKUST, HKU, DreamTech, PKU e LightIllusion. Todos os créditos vão para suas contribuições e avanços no campo da difusão multiview e reconstrução 3D. Para informações detalhadas, consulte

2.2. Técnicas por trás do Era3D

1. Módulo de previsão de câmera baseada em difusão: Era3D estima a distância focal e a elevação da imagem de entrada, permitindo gerar imagens sem distorções de forma, mesmo quando a imagem de entrada é capturada por câmeras com diferentes intrínsecos.
2. Atenção multiview por linha: Era3D introduz uma camada de atenção eficiente que impõe prioridades epipolares no processo de difusão multiview. Ao alinhar linhas epipolares com linhas de imagem na configuração de câmera canônica, Era3D reduz significativamente a complexidade computacional e o consumo de memória em comparação com a atenção multiview densa.
3. Saída de alta resolução: Era3D pode gerar imagens multiview com uma resolução de até 512×512, permitindo a reconstrução de malhas 3D mais detalhadas.

2.3. Vantagens e Limitações Potenciais do Era3D

Vantagens:

• Lida com imagens de entrada com intrínsecos de câmera e pontos de vista arbitrários
• Atenção multiview por linha eficiente para treinamento e inferência mais rápidos
• Gera imagens multiview de alta resolução (512×512) para reconstrução 3D detalhada
• Alcança desempenho de última geração na reconstrução 3D de visão única

Limitações Potenciais:

• Dificuldades em gerar geometrias intrincadas como estruturas finas devido ao número limitado de visões geradas
• Não pode reconstruir malhas com superfícies abertas devido ao uso de Neural SDF para reconstrução

2.4. Como usar o Workflow Era3D no ComfyUI

O ComfyUI 3D Pack fornece uma integração perfeita do modelo Era3D, permitindo que os usuários gerem malhas 3D de alta qualidade a partir de uma única imagem de entrada. O fluxo de trabalho consiste nos seguintes passos:

Carregue o pipeline de difusão Era3D pré-treinado usando o nó "[Comfy3D] Load Diffusers Pipeline".

Carregue a imagem de entrada e sua máscara correspondente usando o nó "LoadImage". Inverta a máscara usando o nó "InvertMask" para garantir o manuseio adequado do fundo.

Use o nó "[Comfy3D] Era3D MVDiffusion Model" para gerar imagens multiview, mapas normais e poses de câmera orbitais a partir da imagem de entrada e máscara. Este nó utiliza o modelo Era3D pré-treinado para gerar saídas multiview de alta resolução e consistentes.

Use o nó "[Comfy3D] InstantMesh Reconstruction Model" para reconstruir a malha 3D a partir das imagens multiview geradas e poses de câmera orbitais. Este nó aproveita o poder do InstantMesh para criar uma malha 3D de alta qualidade. Ajuste a orientação da malha usando o nó "[Comfy3D] Switch Mesh Axis" para garantir o alinhamento correto do modelo 3D, se necessário.

Ao aproveitar o modelo Era3D e os nós do ComfyUI 3D Pack, os usuários podem facilmente gerar malhas 3D de alta qualidade a partir de uma única imagem de entrada. A integração do Era3D no ComfyUI permite um fluxo de trabalho poderoso e eficiente para a reconstrução 3D de visão única.