Hunyuan3D | ComfyUI 3D Pack

이 가이드는 "Hunyuan3D" 모델을 사용하여 3D 콘텐츠를 생성하는 방법에 대한 포괄적인 소개를 제공하며, "ComfyUI 3D Pack" 노드의 고급 기능을 활용하여 워크플로우를 간소화하고 출력 품질을 향상시킵니다.

Part 1: ComfyUI 3D Pack

1.1. ComfyUI 3D Pack 소개

ComfyUI 3D Pack은 ComfyUI가 Mesh 및 UV Texture와 같은 3D 입력을 처리할 수 있도록 하는 광범위한 노드 모음으로, 최첨단 알고리즘과 모델을 사용합니다. 3DGS(가우시안 스플래팅) 및 NeRF(신경 방사장)와 같은 고급 3D 처리 알고리즘과 최첨단 모델인 Hunyuan3D**,** StableFast3D, InstantMesh, CRM, TripoSR 등을 통합합니다.

ComfyUI 3D Pack을 사용하면 사용자는 직관적인 ComfyUI 인터페이스 내에서 고품질의 3D 콘텐츠를 가져오고, 조작하고 생성할 수 있습니다. OBJ, PLY, GLB와 같은 다양한 3D 파일 형식을 지원하여 기존 3D 모델의 쉬운 통합을 가능하게 합니다. 또한 3D 기하학을 편집, 정리 및 최적화하기 위한 강력한 메쉬 처리 유틸리티가 포함되어 있습니다.

주요 하이라이트 중 하나는 2D 이미지에서 포토리얼리스틱한 3D 재구성을 가능하게 하는 NeRF 기술의 통합입니다. 3DGS 노드는 포인트 클라우드 렌더링 및 스타일화를 가능하게 합니다. InstantMesh 및 TripoSR 모델은 3D 메쉬의 고해상도 업스케일링 및 초고해상도를 허용합니다. CRM(컨볼루션 재구성 모델)은 다중 뷰 이미지에서 3D 모양을 복구하고 CCM(컬러 보정 맵)을 가능하게 합니다.

ComfyUI 3D Pack은 에 의해 개발되었으며, 모든 공로는 MrForExample에게 돌아갑니다. 자세한 정보는 을 참조하세요.

1.2. RunComfy에서 사용할 수 있는 ComfyUI 3D Pack

이제 ComfyUI 3D Pack은 RunComfy 웹사이트에서 완벽하게 설정되어 사용할 준비가 되었습니다. 사용자는 추가 소프트웨어나 종속성을 설치할 필요가 없습니다. 모든 필수 모델, 알고리즘 및 도구가 웹 기반 ComfyUI 환경에서 효율적으로 실행되도록 사전 구성 및 최적화되어 있습니다.

Part 2: ComfyUI 3D Pack Nodes와 함께 Hunyuan3D 모델 사용하기

2.1. Hunyuan3D란 무엇인가?

Hunyuan3D는 단일 이미지나 텍스트 설명에서 고품질의 3D 자산을 생성하기 위해 다중 뷰 확산 모델과 희소 뷰 재구성 모델의 강력한 결합을 활용하는 혁신적인 3D 생성 프레임워크로, Tencent에 의해 개발되었습니다. Hunyuan3D 1.0 프레임워크는 라이트 버전과 표준 버전의 두 가지 버전으로 제공되며, 모두 텍스트 및 이미지 조건부 생성을 지원합니다. 자세한 정보는 을 참조하세요.

2.2. Hunyuan3D의 기술적 배경

Hunyuan3D는 3D 생성의 속도와 품질을 향상시키기 위해 여러 기술 혁신을 도입합니다:

a. 두 단계 파이프라인:

첫 번째 단계에서는 다중 뷰 확산 모델이 효율적으로 다중 뷰 RGB 이미지를 생성합니다. 이 이미지들은 다양한 시점에서 3D 자산의 풍부한 세부 사항을 포착합니다.

두 번째 단계에서는 피드 포워드 재구성 모델이 생성된 다중 뷰 이미지에서 3D 자산을 빠르게 재구성합니다.

b. 0-고도 자세 분포

Hunyuan3D의 다중 뷰 생성은 0-고도 카메라 궤도를 사용하여 생성된 뷰 간의 가시 영역을 최대화하고 재구성 품질을 향상시킵니다.

c. 적응형 분류기 비지도 지침

이 기술은 다중 뷰 확산에 대한 제어 가능성 및 다양성을 균형 있게 조절하여 일관되고 높은 품질의 결과를 보장합니다.

d. 하이브리드 입력

희소 뷰 재구성 모델은 보정되지 않은 조건 이미지를 보조 뷰로 통합하여 생성된 이미지에서 보이지 않는 부분을 보완하고 재구성 정확성을 향상시킵니다.

2.3. Hunyuan3D의 장점과 잠재적 제한 사항

장점:

• 빠른 3D 생성: Hunyuan3D는 단 10초 만에 고품질의 3D 자산을 생성할 수 있어 최적화 기반 방법에 비해 생성 시간을 크게 단축합니다.
• 향상된 일반화: 단일 뷰 생성 작업을 다중 뷰 이미지 생성 및 희소 뷰 재구성으로 분리하여 Hunyuan3D는 보이지 않는 객체에 대한 일반화를 향상시킵니다.
• 통합 프레임워크: Hunyuan3D는 텍스트 및 이미지 조건부 3D 생성을 모두 지원하여 다양한 응용 프로그램에 적합한 도구입니다.

잠재적 제한 사항:

• 메모리 요구 사항: Hunyuan3D의 표준 버전은 라이트 버전에 비해 매개변수가 3배 많아 최적의 성능을 위해 더 많은 메모리가 필요할 수 있습니다.
• 얇은 구조 생성: 다른 피드 포워드 방법과 마찬가지로 Hunyuan3D는 얇고 종이 같은 구조 생성에 어려움을 겪을 수 있습니다.

2.4. ComfyUI에서 Hunyuan3D 워크플로우 사용 방법

단일 이미지에서 고품질 3D 메쉬를 생성하기 위한 Hunyuan3D 워크플로우 사용에 대한 단계별 가이드입니다

"[Comfy3D] Load Diffusers Pipeline" 노드를 사용하여 Hunyuan3D 다중 뷰 확산 모델을 로드합니다. GPU 메모리에 따라 라이트 버전이나 표준 버전을 선택하십시오.

"[Comfy3D] Load Hunyuan3D V1 Reconstruction Model" 노드를 사용하여 Hunyuan3D 재구성 모델을 로드합니다.

"LoadImage" 및 "InvertMask" 노드를 사용하여 입력 이미지와 마스크를 준비합니다.

로드된 확산 파이프라인, 입력 이미지 및 마스크를 "[Comfy3D] Hunyuan3D V1 MVDiffusion Model" 노드에 입력하여 다중 뷰 이미지 및 조건 이미지를 생성합니다.

"PreviewImage" 노드를 사용하여 생성된 다중 뷰 이미지를 미리 봅니다.

로드된 재구성 모델, 생성된 다중 뷰 이미지 및 조건 이미지를 "[Comfy3D] Hunyuan3D V1 Reconstruction Model" 노드에 입력하여 3D 메쉬를 생성합니다. 필요시 "[Comfy3D] Switch Mesh Axis" 노드를 사용하여 메쉬의 축과 크기를 조정할 수 있습니다.

(선택 사항) "[Comfy3D] Convert Vertex Color To Texture" 노드를 사용하여 버텍스 색상을 텍스처로 변환하여 텍스처 품질을 향상시킬 수 있습니다.

이제 Hunyuan3D의 모든 잠재력을 활용하여 단일 이미지에서 놀라운 3D 자산을 생성할 수 있습니다. Hunyuan3D 모델은 고급 3D 생성을 그 어느 때보다 쉽게 만듭니다!