Hunyuan3D | ComfyUI 3D Pack

Это руководство предоставляет всестороннее введение в создание 3D контента с использованием модели 'Hunyuan3D', используя передовые возможности узлов "ComfyUI 3D Pack" для упрощения рабочих процессов и повышения качества выходных данных.

Часть 1: ComfyUI 3D Pack

1.1. Введение в ComfyUI 3D Pack

ComfyUI 3D Pack — это обширный набор узлов, который позволяет ComfyUI обрабатывать 3D входные данные, такие как Mesh & UV Texture, с использованием передовых алгоритмов и моделей. Он интегрирует передовые алгоритмы обработки 3D, такие как 3DGS (Gaussian Splatting) и NeRF (Neural Radiance Fields), а также современные модели, включая Hunyuan3D, StableFast3D, InstantMesh, CRM, TripoSR и другие.

С ComfyUI 3D Pack пользователи могут импортировать, манипулировать и генерировать высококачественный 3D контент в интуитивно понятном интерфейсе ComfyUI. Он поддерживает широкий спектр 3D форматов файлов, таких как OBJ, PLY, GLB, что позволяет легко интегрировать существующие 3D модели. Пакет также включает мощные утилиты обработки сеток для редактирования, очистки и оптимизации 3D геометрии.

Одним из ключевых моментов является интеграция технологии NeRF, которая позволяет фотореалистичную 3D реконструкцию из 2D изображений. Узлы 3DGS позволяют рендеринг и стилизацию облаков точек. Модели InstantMesh и TripoSR позволяют высокое разрешение и суперразрешение 3D сеток. CRM (Convolutional Reconstruction Model) позволяет восстановить 3D форму из многоракурсных изображений и CCM (Color Correction Map).

ComfyUI 3D Pack был разработан , с полным признанием заслуг MrForExample. Для получения подробной информации, пожалуйста, смотрите .

1.2. ComfyUI 3D Pack: Готов к запуску на RunComfy

Теперь ComfyUI 3D Pack полностью настроен и готов к использованию на сайте RunComfy. Пользователям не нужно устанавливать дополнительное программное обеспечение или зависимости. Все необходимые модели, алгоритмы и инструменты предварительно настроены и оптимизированы для эффективной работы в веб-интерфейсе ComfyUI.

Часть 2: Использование модели Hunyuan3D с узлами ComfyUI 3D Pack

2.1. Что такое Hunyuan3D?

Hunyuan3D — это инновационная платформа генерации 3D, разработанная Tencent, которая сочетает в себе мощь многоракурсных диффузионных моделей и моделей реконструкции с разреженными видами, чтобы создавать высококачественные 3D активы из одиночных изображений или текстовых описаний. Платформа Hunyuan3D 1.0 доступна в двух версиях: облегченной и стандартной, обе поддерживают генерацию, основанную на текстах и изображениях. Для получения подробной информации, пожалуйста, смотрите .

2.2. Техники за Hunyuan3D

Hunyuan3D вводит несколько технических инноваций для повышения скорости и качества генерации 3D:

a. Двухэтапный конвейер:

На первом этапе многоракурсная диффузионная модель эффективно генерирует многоракурсные RGB изображения. Эти изображения захватывают богатые детали 3D актива с различных точек обзора.

На втором этапе используется модель реконструкции с прямой передачей, которая быстро восстанавливает 3D актив из сгенерированных многоракурсных изображений.

b. Распределение позы с нулевой высотой

Многоракурсная генерация Hunyuan3D использует орбиту камеры с нулевой высотой, максимизируя видимую область между сгенерированными видами и улучшая качество реконструкции.

c. Адаптивное руководство без классификатора

Эта техника балансирует управляемость и разнообразие для многоракурсной диффузии, обеспечивая последовательные и высококачественные результаты.

d. Гибридные входы

Модель реконструкции с разреженными видами включает некалиброванное условное изображение в качестве вспомогательного вида, чтобы компенсировать невидимые части в сгенерированных изображениях, повышая точность реконструкции.

2.3. Преимущества и потенциальные ограничения Hunyuan3D

Преимущества:

• Быстрая генерация 3D: Hunyuan3D может создавать высококачественные 3D активы всего за 10 секунд, значительно сокращая время генерации по сравнению с методами оптимизации.
• Улучшенная обобщаемость: Разделяя задачи генерации с одиночного вида на генерацию многоракурсных изображений и реконструкцию с разреженными видами, Hunyuan3D достигает лучшей обобщаемости на невидимых объектах.
• Унифицированная платформа: Hunyuan3D поддерживает как текстовую, так и изображенческую генерацию 3D, что делает его универсальным инструментом для различных приложений.

Потенциальные ограничения:

• Требования к памяти: Стандартная версия Hunyuan3D имеет в 3 раза больше параметров, чем облегченная версия, что может потребовать больше памяти для оптимальной производительности.
• Генерация тонких структур: Как и другие методы с прямой передачей, Hunyuan3D может испытывать трудности с генерацией тонких, бумажных структур.

2.4. Как использовать рабочий процесс Hunyuan3D в ComfyUI

Вот пошаговое руководство по использованию рабочего процесса Hunyuan3D для генерации высококачественных 3D сеток из одиночных изображений

Загрузите многоракурсную диффузионную модель Hunyuan3D с помощью узла "[Comfy3D] Load Diffusers Pipeline". Выберите между облегченной или стандартной версией в зависимости от вашей GPU памяти.

Загрузите модель реконструкции Hunyuan3D с помощью узла "[Comfy3D] Load Hunyuan3D V1 Reconstruction Model".

Подготовьте входное изображение и маску с помощью узлов "LoadImage" и "InvertMask".

Передайте загруженный диффузионный конвейер, входное изображение и маску в узел "[Comfy3D] Hunyuan3D V1 MVDiffusion Model", чтобы сгенерировать многоракурсные изображения и условное изображение.

Просмотрите сгенерированные многоракурсные изображения с помощью узла "PreviewImage".

Введите загруженную модель реконструкции, сгенерированные многоракурсные изображения и условное изображение в узел "[Comfy3D] Hunyuan3D V1 Reconstruction Model", чтобы создать 3D сетку. Также вы можете настроить ось и масштаб сетки с помощью узла "[Comfy3D] Switch Mesh Axis", если необходимо.

(Необязательно) Преобразуйте цвета вершин в текстуры с помощью узла "[Comfy3D] Convert Vertex Color To Texture" для улучшения качества текстур.

Теперь вы можете раскрыть весь потенциал Hunyuan3D для создания потрясающих 3D активов из одиночного изображения. Модель Hunyuan3D делает передовую генерацию 3D более доступной, чем когда-либо!