Era3D | ComfyUI 3D Pack

이 가이드는 "Era3D" 모델을 사용하여 3D 콘텐츠를 생성하는 방법에 대한 포괄적인 소개를 제공하며, "ComfyUI 3D Pack" 노드의 고급 기능을 활용하여 워크플로우를 간소화하고 출력 품질을 향상시킵니다.

Part 1: ComfyUI 3D Pack

1.1. ComfyUI 3D Pack 소개

ComfyUI 3D Pack은 ComfyUI가 Mesh & UV Texture와 같은 3D 입력을 처리할 수 있도록 하는 광범위한 노드 모음으로, 최첨단 알고리즘과 모델을 통합합니다. 3DGS (Gaussian Splatting) 및 NeRF (Neural Radiance Fields)와 같은 고급 3D 처리 알고리즘과 Hunyuan3D, StableFast3D, InstantMesh, CRM, TripoSR 등의 최첨단 모델을 통합합니다.

ComfyUI 3D Pack을 사용하면 사용자가 직관적인 ComfyUI 인터페이스 내에서 고품질의 3D 콘텐츠를 가져오고, 조작하고, 생성할 수 있습니다. OBJ, PLY, GLB와 같은 다양한 3D 파일 형식을 지원하여 기존 3D 모델의 손쉬운 통합을 가능하게 합니다. 이 팩에는 3D 기하학을 편집, 정리, 최적화할 수 있는 강력한 메쉬 처리 유틸리티도 포함되어 있습니다.

주요 하이라이트 중 하나는 2D 이미지로부터 포토리얼리스틱한 3D 재구성을 가능하게 하는 NeRF 기술의 통합입니다. 3DGS 노드는 포인트 클라우드 렌더링 및 스타일화를 가능하게 합니다. InstantMesh 및 TripoSR 모델은 3D 메쉬의 고해상도 업스케일링 및 초해상도를 허용합니다. CRM (Convolutional Reconstruction Model)은 멀티뷰 이미지에서 3D 모양을 복원하고 CCM (Color Correction Map)을 제공합니다.

ComfyUI 3D Pack은 에 의해 개발되었으며, 모든 공로는 MrForExample에게 돌아갑니다. 자세한 정보는 을 참조하십시오.

1.2. RunComfy에서 실행 준비가 된 ComfyUI 3D Pack

이제 ComfyUI 3D Pack은 RunComfy 웹사이트에서 완전히 설정되고 사용할 준비가 되었습니다. 사용자는 추가 소프트웨어나 종속성을 설치할 필요가 없습니다. 필요한 모든 모델, 알고리즘, 도구는 웹 기반 ComfyUI 환경에서 효율적으로 실행되도록 사전 구성되고 최적화되어 있습니다.

Part 2: ComfyUI 3D Pack 노드와 함께 Era3D 모델 사용하기

2.1. Era3D란?

Era3D는 단일 입력 이미지에서 고품질, 고해상도의 멀티뷰 이미지를 생성하는 최첨단 멀티뷰 diffusion 방법입니다. 일관성 없는 카메라 프라이어, 비효율적인 멀티뷰 주의, 낮은 출력 해상도와 같은 기존 멀티뷰 생성 방법의 여러 제한 사항을 해결합니다. Era3D는 기본 방법과 비교하여 우수한 3D 재구성 품질을 달성합니다.

Era3D는 HKUST, HKU, DreamTech, PKU, LightIllusion의 연구진에 의해 개발되었습니다. 모든 공로는 멀티뷰 diffusion 및 3D 재구성 분야에서의 그들의 공헌과 발전에 돌아갑니다. 자세한 정보는 를 참조하십시오.

2.2. Era3D의 기술적 배경

1. Diffusion 기반 카메라 예측 모듈: Era3D는 입력 이미지의 초점 거리와 고도를 추정하여, 서로 다른 내재를 가진 카메라로 촬영된 입력 이미지에서도 형태 왜곡 없이 이미지를 생성할 수 있습니다.
2. 행 단위 멀티뷰 주의: Era3D는 멀티뷰 diffusion 과정에서 에피폴라 프라이어를 적용하는 효율적인 주의 레이어를 도입합니다. 정준 카메라 설정에서 이미지 행과 에피폴라 선을 정렬하여, Era3D는 조밀한 멀티뷰 주의에 비해 계산 복잡도와 메모리 소비를 크게 줄입니다.
3. 고해상도 출력: Era3D는 최대 512×512의 해상도로 멀티뷰 이미지를 생성할 수 있어, 더 상세한 3D 메쉬의 재구성이 가능합니다.

2.3. Era3D의 장점과 잠재적 제한 사항

장점:

• 임의의 카메라 내재와 관점을 가진 입력 이미지를 처리
• 빠른 훈련 및 추론을 위한 효율적인 행 단위 멀티뷰 주의
• 상세한 3D 재구성을 위한 고해상도 (512×512) 멀티뷰 이미지 생성
• 단일 뷰 3D 재구성에서 최첨단 성능 달성

잠재적 제한 사항:

• 생성된 뷰의 제한된 수로 인해 얇은 구조와 같은 복잡한 기하학 생성에 어려움
• Neural SDF를 사용한 재구성으로 인해 열린 표면을 가진 메쉬는 재구성 불가

2.4. ComfyUI에서 Era3D 워크플로우 사용 방법

ComfyUI 3D Pack은 Era3D 모델의 원활한 통합을 제공하여 사용자가 단일 입력 이미지에서 고품질의 3D 메쉬를 생성할 수 있도록 합니다. 워크플로우는 다음 단계로 구성됩니다:

"[Comfy3D] Load Diffusers Pipeline" 노드를 사용하여 사전 훈련된 Era3D diffusion 파이프라인을 로드합니다.

"LoadImage" 노드를 사용하여 입력 이미지와 해당 마스크를 로드합니다. "InvertMask" 노드를 사용하여 마스크를 반전시켜 적절한 배경 처리를 보장합니다.

"[Comfy3D] Era3D MVDiffusion Model" 노드를 사용하여 입력 이미지와 마스크에서 멀티뷰 이미지, 노멀 맵, 궤도 카메라 포즈를 생성합니다. 이 노드는 사전 훈련된 Era3D 모델을 사용하여 고해상도, 일관된 멀티뷰 출력을 생성합니다.

"[Comfy3D] InstantMesh Reconstruction Model" 노드를 사용하여 생성된 멀티뷰 이미지와 궤도 카메라 포즈로부터 3D 메쉬를 재구성합니다. 이 노드는 InstantMesh의 힘을 활용하여 고품질의 3D 메쉬를 생성합니다. 필요에 따라 "[Comfy3D] Switch Mesh Axis" 노드를 사용하여 3D 모델의 올바른 정렬을 보장하기 위해 메쉬 방향을 조정합니다.

Era3D 모델과 ComfyUI 3D Pack 노드를 활용하여 사용자는 단일 입력 이미지에서 고품질의 3D 메쉬를 쉽게 생성할 수 있습니다. ComfyUI에 Era3D를 통합함으로써 단일 뷰 3D 재구성을 위한 강력하고 효율적인 워크플로우를 제공합니다.