Era3D | ComfyUI 3D Pack

Esta guía proporciona una introducción completa a la creación de contenido 3D con el modelo "Era3D", utilizando las capacidades avanzadas de los nodos de "ComfyUI 3D Pack" para agilizar los flujos de trabajo y mejorar la calidad de salida.

Parte 1: ComfyUI 3D Pack

1.1. Introducción al ComfyUI 3D Pack

ComfyUI 3D Pack es una suite extensa de nodos que permite a ComfyUI procesar entradas 3D como Mesh & UV Texture usando algoritmos y modelos de vanguardia. Integra algoritmos avanzados de procesamiento 3D como 3DGS (Gaussian Splatting) y NeRF (Neural Radiance Fields), junto con modelos de última generación como Hunyuan3D**,** StableFast3D, InstantMesh, CRM, TripoSR y otros.

Con el ComfyUI 3D Pack, los usuarios pueden importar, manipular y generar contenido 3D de alta calidad dentro de la interfaz intuitiva de ComfyUI. Soporta una amplia gama de formatos de archivo 3D como OBJ, PLY, GLB, lo que permite una fácil integración de modelos 3D existentes. El paquete también incluye potentes utilidades de procesamiento de mallas para editar, limpiar y optimizar la geometría 3D.

Uno de los aspectos más destacados es la integración de la tecnología NeRF que permite la reconstrucción 3D fotorrealista a partir de imágenes 2D. Los nodos 3DGS permiten la renderización y estilización de nubes de puntos. Los modelos InstantMesh y TripoSR permiten el escalado de alta resolución y la superresolución de mallas 3D. CRM (Convolutional Reconstruction Model) permite recuperar la forma 3D a partir de imágenes multivista y CCM (Color Correction Map).

ComfyUI 3D Pack fue desarrollado por , con todo el crédito para MrForExample. Para información detallada, por favor vea .

1.2. ComfyUI 3D Pack: Listo para Ejecutar en RunComfy

Ahora ComfyUI 3D Pack está completamente configurado y listo para usar en el sitio web de RunComfy. Los usuarios no necesitan instalar ningún software adicional o dependencias. Todos los modelos, algoritmos y herramientas requeridos están preconfigurados y optimizados para funcionar eficientemente en el entorno web de ComfyUI.

Parte 2: Usando el modelo Era3D con los Nodos del ComfyUI 3D Pack

2.1. ¿Qué es Era3D?

Era3D es un método de difusión multivista de última generación que genera imágenes multivista de alta calidad y alta resolución a partir de una sola imagen de entrada. Aborda varias limitaciones de los métodos existentes de generación multivista, como los priors de cámara inconsistentes, la atención multivista ineficiente y la baja resolución de salida. Era3D logra una calidad de reconstrucción 3D superior en comparación con los métodos de referencia.

Era3D fue desarrollado por un equipo de investigadores de HKUST, HKU, DreamTech, PKU y LightIllusion. Todo el crédito va a sus contribuciones y avances en el campo de la difusión multivista y la reconstrucción 3D. Para información detallada, por favor vea

2.2. Técnicas detrás de Era3D

1. Módulo de predicción de cámara basado en difusión: Era3D estima la longitud focal y la elevación de la imagen de entrada, permitiéndole generar imágenes sin distorsiones de forma incluso cuando la imagen de entrada es capturada por cámaras con diferentes intrínsecas.
2. Atención multivista fila por fila: Era3D introduce una capa de atención eficiente que refuerza los priors epipolares en el proceso de difusión multivista. Al alinear las líneas epipolares con las filas de la imagen en la configuración de cámara canónica, Era3D reduce significativamente la complejidad de cálculo y el consumo de memoria en comparación con la atención multivista densa.
3. Salida de alta resolución: Era3D puede generar imágenes multivista con una resolución de hasta 512×512, permitiendo la reconstrucción de mallas 3D más detalladas.

2.3. Ventajas y Posibles Limitaciones de Era3D

Ventajas:

• Maneja imágenes de entrada con intrínsecas de cámara y puntos de vista arbitrarios
• Atención multivista fila por fila eficiente para un entrenamiento e inferencia más rápidos
• Genera imágenes multivista de alta resolución (512×512) para reconstrucciones 3D detalladas
• Logra un rendimiento de última generación en reconstrucción 3D de una sola vista

Posibles Limitaciones:

• Tiene dificultades para generar geometrías intrincadas como estructuras delgadas debido al número limitado de vistas generadas
• No puede reconstruir mallas con superficies abiertas debido al uso de Neural SDF para la reconstrucción

2.4. Cómo usar el Flujo de Trabajo de Era3D en ComfyUI

El ComfyUI 3D Pack proporciona una integración perfecta del modelo Era3D, permitiendo a los usuarios generar mallas 3D de alta calidad a partir de una sola imagen de entrada. El flujo de trabajo consta de los siguientes pasos:

Cargar el pipeline de difusión pre-entrenado de Era3D utilizando el nodo "[Comfy3D] Load Diffusers Pipeline".

Cargar la imagen de entrada y su máscara correspondiente utilizando el nodo "LoadImage". Invertir la máscara utilizando el nodo "InvertMask" para asegurar un manejo adecuado del fondo.

Usar el nodo "[Comfy3D] Era3D MVDiffusion Model" para generar imágenes multivista, mapas normales y poses de cámara orbital a partir de la imagen de entrada y la máscara. Este nodo utiliza el modelo Era3D pre-entrenado para generar salidas multivista de alta resolución y consistentes.

Usar el nodo "[Comfy3D] InstantMesh Reconstruction Model" para reconstruir la malla 3D a partir de las imágenes multivista generadas y las poses de cámara orbital. Este nodo aprovecha el poder de InstantMesh para crear una malla 3D de alta calidad. Ajustar la orientación de la malla utilizando el nodo "[Comfy3D] Switch Mesh Axis" para asegurar la alineación correcta del modelo 3D si es necesario.

Al aprovechar el modelo Era3D y los nodos del ComfyUI 3D Pack, los usuarios pueden generar fácilmente mallas 3D de alta calidad a partir de una sola imagen de entrada. La integración de Era3D en ComfyUI permite un flujo de trabajo poderoso y eficiente para la reconstrucción 3D de una sola vista.