Hunyuan3D | ComfyUI 3D Pack

Este guia fornece uma introdução abrangente à criação de conteúdo 3D com o modelo 'Hunyuan3D', utilizando as capacidades avançadas dos nós do "ComfyUI 3D Pack" para agilizar fluxos de trabalho e melhorar a qualidade do resultado.

Parte 1: ComfyUI 3D Pack

1.1. Introdução ao ComfyUI 3D Pack

O ComfyUI 3D Pack é um extenso conjunto de nós que permite ao ComfyUI processar entradas 3D como Mesh & UV Texture usando algoritmos e modelos de ponta. Integra algoritmos avançados de processamento 3D como 3DGS (Gaussian Splatting) e NeRF (Neural Radiance Fields), juntamente com modelos de última geração, incluindo Hunyuan3D**,** StableFast3D, InstantMesh, CRM, TripoSR e outros.

Com o ComfyUI 3D Pack, os usuários podem importar, manipular e gerar conteúdo 3D de alta qualidade dentro da interface intuitiva do ComfyUI. Suporta uma ampla gama de formatos de arquivo 3D como OBJ, PLY, GLB, permitindo fácil integração de modelos 3D existentes. O pacote também inclui utilitários poderosos de processamento de malhas para editar, limpar e otimizar a geometria 3D.

Um dos principais destaques é a integração da tecnologia NeRF, que permite reconstrução 3D fotorrealista a partir de imagens 2D. Os nós 3DGS permitem renderização e estilização de nuvem de pontos. Os modelos InstantMesh e TripoSR permitem aumentar a resolução e super-resolução de malhas 3D. O CRM (Convolutional Reconstruction Model) permite recuperar a forma 3D a partir de imagens de múltiplas vistas e CCM (Color Correction Map).

O ComfyUI 3D Pack foi desenvolvido por , com todos os créditos para MrForExample. Para informações detalhadas, consulte .

1.2. ComfyUI 3D Pack: Pronto para Rodar no RunComfy

Agora o ComfyUI 3D Pack está totalmente configurado e pronto para uso no site RunComfy. Os usuários não precisam instalar nenhum software adicional ou dependências. Todos os modelos, algoritmos e ferramentas necessários estão pré-configurados e otimizados para rodar eficientemente no ambiente web do ComfyUI.

Parte 2: Usando o modelo Hunyuan3D com Nós do ComfyUI 3D Pack

2.1. O que é o Hunyuan3D?

O Hunyuan3D é uma estrutura inovadora de geração 3D desenvolvida pela Tencent que combina o poder de modelos de difusão de múltiplas vistas e modelos de reconstrução de vistas esparsas para criar ativos 3D de alta qualidade a partir de imagens únicas ou descrições textuais. A estrutura Hunyuan3D 1.0 está disponível em duas versões: uma versão lite e uma versão padrão, ambas suportando geração condicionada por texto e imagem. Para informações detalhadas, consulte .

2.2. Técnicas por Trás do Hunyuan3D

O Hunyuan3D introduz várias inovações técnicas para melhorar a velocidade e a qualidade da geração 3D:

a. Pipeline de duas etapas:

Na primeira etapa, um modelo de difusão de múltiplas vistas gera eficientemente imagens RGB de múltiplas vistas. Estas imagens capturam ricos detalhes do ativo 3D de vários pontos de vista.

A segunda etapa emprega um modelo de reconstrução feed-forward que reconstrói rapidamente o ativo 3D a partir das imagens de múltiplas vistas geradas.

b. Distribuição de pose de 0-elevação

A geração de múltiplas vistas do Hunyuan3D utiliza uma órbita de câmera de 0-elevação, maximizando a área visível entre as vistas geradas e melhorando a qualidade da reconstrução.

c. Orientação adaptativa sem classificador

Esta técnica equilibra controlabilidade e diversidade para difusão de múltiplas vistas, garantindo resultados consistentes e de alta qualidade.

d. Entradas híbridas

O modelo de reconstrução de vistas esparsas incorpora a imagem de condição não calibrada como uma vista auxiliar para compensar partes não vistas nas imagens geradas, melhorando a precisão da reconstrução.

2.3. Vantagens e Potenciais Limitações do Hunyuan3D

Vantagens:

• Geração 3D rápida: O Hunyuan3D pode criar ativos 3D de alta qualidade em apenas 10 segundos, reduzindo significativamente o tempo de geração em comparação com métodos baseados em otimização.
• Melhor generalização: Ao separar tarefas de geração de vista única em geração de imagem de múltiplas vistas e reconstrução de vistas esparsas, o Hunyuan3D alcança melhor generalização para objetos não vistos.
• Estrutura unificada: O Hunyuan3D suporta geração 3D condicionada por texto e imagem, tornando-o uma ferramenta versátil para várias aplicações.

Potenciais Limitações:

• Requisitos de memória: A versão padrão do Hunyuan3D tem 3x mais parâmetros do que a versão lite, o que pode exigir mais memória para desempenho ideal.
• Geração de estruturas finas: Como outros métodos feed-forward, o Hunyuan3D pode ter dificuldades em gerar estruturas finas, semelhantes a papel.

2.4. Como usar o Fluxo de Trabalho do Hunyuan3D no ComfyUI

Aqui está um guia passo a passo para usar o fluxo de trabalho do Hunyuan3D para gerar malhas 3D de alta qualidade a partir de imagens únicas

Carregue o modelo de difusão de múltiplas vistas do Hunyuan3D usando o nó "[Comfy3D] Load Diffusers Pipeline". Escolha entre a versão lite ou padrão com base na memória do seu GPU.

Carregue o modelo de reconstrução do Hunyuan3D usando o nó "[Comfy3D] Load Hunyuan3D V1 Reconstruction Model".

Prepare a imagem de entrada e a máscara usando os nós "LoadImage" e "InvertMask".

Alimente o pipeline de difusão carregado, a imagem de entrada e a máscara no nó "[Comfy3D] Hunyuan3D V1 MVDiffusion Model" para gerar imagens de múltiplas vistas e uma imagem de condição.

Pré-visualize as imagens de múltiplas vistas geradas usando o nó "PreviewImage".

Insira o modelo de reconstrução carregado, as imagens de múltiplas vistas geradas e a imagem de condição no nó "[Comfy3D] Hunyuan3D V1 Reconstruction Model" para criar a malha 3D. Além disso, você pode ajustar o eixo e a escala da malha usando o nó "[Comfy3D] Switch Mesh Axis" se necessário.

(Opcional) Converta cores de vértice em texturas usando o nó "[Comfy3D] Convert Vertex Color To Texture" para melhorar a qualidade da textura.

Agora você pode desbloquear todo o potencial do Hunyuan3D para criar ativos 3D impressionantes a partir de uma única imagem. O modelo Hunyuan3D torna a geração 3D avançada mais acessível do que nunca!