Hunyuan3D | ComfyUI 3D Pack

Esta guía proporciona una introducción completa a la creación de contenido 3D con el modelo 'Hunyuan3D', utilizando las capacidades avanzadas de los nodos del "ComfyUI 3D Pack" para agilizar los flujos de trabajo y mejorar la calidad del resultado.

Parte 1: ComfyUI 3D Pack

1.1. Introducción al ComfyUI 3D Pack

ComfyUI 3D Pack es un extenso conjunto de nodos que permite a ComfyUI procesar entradas 3D como Malla y Textura UV utilizando algoritmos y modelos de vanguardia. Integra algoritmos avanzados de procesamiento 3D como 3DGS (Gaussian Splatting) y NeRF (Neural Radiance Fields), junto con modelos de última generación como Hunyuan3D, StableFast3D, InstantMesh, CRM, TripoSR y otros.

Con el ComfyUI 3D Pack, los usuarios pueden importar, manipular y generar contenido 3D de alta calidad dentro de la interfaz intuitiva de ComfyUI. Soporta una amplia gama de formatos de archivo 3D como OBJ, PLY, GLB, permitiendo una fácil integración de modelos 3D existentes. El paquete también incluye potentes utilidades de procesamiento de mallas para editar, limpiar y optimizar la geometría 3D.

Uno de los aspectos destacados es la integración de la tecnología NeRF, que permite la reconstrucción 3D fotorrealista a partir de imágenes 2D. Los nodos 3DGS habilitan el renderizado y la estilización de nubes de puntos. Los modelos InstantMesh y TripoSR permiten la ampliación de alta resolución y la superresolución de mallas 3D. CRM (Modelo de Reconstrucción Convolucional) permite recuperar la forma 3D a partir de imágenes de múltiples vistas y CCM (Mapa de Corrección de Color).

ComfyUI 3D Pack fue desarrollado por , con todo el crédito para MrForExample. Para obtener información detallada, por favor consulta .

1.2. ComfyUI 3D Pack: Listo para Ejecutarse en RunComfy

Ahora ComfyUI 3D Pack está completamente configurado y listo para usar en el sitio web de RunComfy. Los usuarios no necesitan instalar ningún software adicional o dependencias. Todos los modelos, algoritmos y herramientas requeridos están preconfigurados y optimizados para ejecutarse eficientemente en el entorno basado en la web de ComfyUI.

Parte 2: Uso del modelo Hunyuan3D con los Nodos del ComfyUI 3D Pack

2.1. ¿Qué es Hunyuan3D?

Hunyuan3D es un innovador marco de generación 3D desarrollado por Tencent que combina el poder de los modelos de difusión de múltiples vistas y los modelos de reconstrucción de vistas escasas para crear activos 3D de alta calidad a partir de imágenes individuales o descripciones de texto. El marco Hunyuan3D 1.0 está disponible en dos versiones: una versión lite y una versión estándar, ambas compatibles con la generación condicionada por texto e imagen. Para obtener información detallada, por favor consulta .

2.2. Técnicas Detrás de Hunyuan3D

Hunyuan3D introduce varias innovaciones técnicas para mejorar la velocidad y la calidad de la generación 3D:

a. Canalización de dos etapas:

En la primera etapa, un modelo de difusión de múltiples vistas genera eficientemente imágenes RGB de múltiples vistas. Estas imágenes capturan ricos detalles del activo 3D desde varios puntos de vista.

La segunda etapa emplea un modelo de reconstrucción feed-forward que reconstruye rápidamente el activo 3D a partir de las imágenes de múltiples vistas generadas.

b. Distribución de poses de 0-elevación

La generación de múltiples vistas de Hunyuan3D utiliza una órbita de cámara de 0-elevación, maximizando el área visible entre vistas generadas y mejorando la calidad de reconstrucción.

c. Guía adaptativa sin clasificador

Esta técnica equilibra la controlabilidad y la diversidad para la difusión de múltiples vistas, asegurando resultados consistentes y de alta calidad.

d. Entradas híbridas

El modelo de reconstrucción de vistas escasas incorpora la imagen de condición no calibrada como una vista auxiliar para compensar las partes no vistas en las imágenes generadas, mejorando la precisión de la reconstrucción.

2.3. Ventajas y Posibles Limitaciones de Hunyuan3D

Ventajas:

• Generación rápida de 3D: Hunyuan3D puede crear activos 3D de alta calidad en solo 10 segundos, reduciendo significativamente el tiempo de generación en comparación con los métodos basados en optimización.
• Mejora de la generalización: Al descomponer las tareas de generación de vista única en generación de imágenes de múltiples vistas y reconstrucción de vistas escasas, Hunyuan3D logra una mejor generalización a objetos no vistos.
• Marco unificado: Hunyuan3D admite tanto la generación condicionada por texto como por imagen, lo que lo convierte en una herramienta versátil para varias aplicaciones.

Posibles Limitaciones:

• Requisitos de memoria: La versión estándar de Hunyuan3D tiene 3 veces más parámetros que la versión lite, lo que puede requerir más memoria para un rendimiento óptimo.
• Generación de estructuras delgadas: Al igual que otros métodos feed-forward, Hunyuan3D podría tener dificultades para generar estructuras delgadas, similares al papel.

2.4. Cómo usar el Flujo de Trabajo de Hunyuan3D en ComfyUI

Aquí tienes una guía paso a paso para usar el flujo de trabajo de Hunyuan3D para generar mallas 3D de alta calidad a partir de imágenes individuales

Carga el modelo de difusión de múltiples vistas de Hunyuan3D usando el nodo "[Comfy3D] Load Diffusers Pipeline". Elige entre la versión lite o estándar según la memoria de tu GPU.

Carga el modelo de reconstrucción de Hunyuan3D usando el nodo "[Comfy3D] Load Hunyuan3D V1 Reconstruction Model".

Prepara la imagen de entrada y la máscara usando los nodos "LoadImage" y "InvertMask".

Alimenta el pipeline de difusión cargado, la imagen de entrada y la máscara en el nodo "[Comfy3D] Hunyuan3D V1 MVDiffusion Model" para generar imágenes de múltiples vistas y una imagen de condición.

Previsualiza las imágenes de múltiples vistas generadas usando el nodo "PreviewImage".

Introduce el modelo de reconstrucción cargado, las imágenes de múltiples vistas generadas y la imagen de condición en el nodo "[Comfy3D] Hunyuan3D V1 Reconstruction Model" para crear la malla 3D. Además, puedes ajustar el eje y la escala de la malla usando el nodo "[Comfy3D] Switch Mesh Axis" si es necesario.

(Opcional) Convierte los colores de los vértices a texturas usando el nodo "[Comfy3D] Convert Vertex Color To Texture" para mejorar la calidad de las texturas.

Ahora puedes desbloquear todo el potencial de Hunyuan3D para crear impresionantes activos 3D a partir de una sola imagen. El modelo Hunyuan3D hace que la generación avanzada de 3D sea más accesible que nunca!