Trellis | Изображение в 3D

TRELLIS революционизирует создание 3D-объектов, представляя новаторский подход, который беспрепятственно интегрирует разреженные 3D-структуры с богатыми визуальными особенностями. В основе TRELLIS лежит инновационная структура LATent (SLAT), позволяющая легко создавать потрясающие 3D-объекты с сложной геометрией и яркими текстурами, превосходя возможности существующих методов. Что отличает TRELLIS, так это его не имеющая аналогов универсальность, так как он динамически поддерживает широкий диапазон выходных форматов, включая Radiance Fields, 3D Gaussians и сетки. Используя мощь Rectified Flow Transformers, TRELLIS достигает исключительной точности и предоставляет неограниченную творческую свободу для генерации 3D-контента.

1 Как использовать рабочий процесс TRELLIS?

Это рабочий процесс TRELLIS, левая сторона узла является входом для загрузки изображения, средняя — обработка узлов TRELLIS, а правая — выходной узел.

• Загрузите ваше изображение в входные узлы.
• Нажмите Render !!!

Все выходные данные (GLB, текстуры и превью) будут сохранены в папке Ouput Comfyui внутри папки "Output_3D_Trellis".

1.1 Входное изображение

• Нажмите и загрузите ваше эталонное изображение для генерации 3D-модели.

1.2 Узел Trellis Image to 3D

Варианты ввода

• Model: Указывает файл модели, используемой для генерации 3D-объекта.
• Images: Входные изображения для обработки.
• Video Path: Опция для ввода пути видео для генерации 3D.
• Masks: Вход для маскировки текстур, обозначенный как texture_image.

Настройки конфигурации

• Mode: Выбор между различными режимами (например, одиночный).
• Seed: Случайное начальное значение для детерминированных выводов (установлено на 7777).
• Control After Generate: Определяет, когда происходят управляющие действия (фиксированные, инкрементные или случайные).

Руководство и выборка

• SS Guidance Strength: Управляет силой руководства устойчивой структуры (установлено на 7.5).
• SS Sampling Steps: Количество шагов выборки для устойчивой структуры (установлено на 12).
• SLAT Guidance Strength: Контролирует силу руководства SLAT репрезентации (3.0).
• SLAT Sampling Steps: Количество шагов выборки для SLAT (12).

Варианты сетки и текстуры

• Mesh Simplify: Уровень упрощения сетки (установлен на 0.95).
• Texture Size: Разрешение текстуры (1024).
• Texture Mode: Режим обработки текстуры (быстрый).
• FPS: Кадры в секунду для рендеринга (15).

Варианты вывода

• Multimode: Режим генерации вывода (стохастический).
• Project Name: Имя для созданного проекта (Output_3D_Trellis).

Варианты сохранения

• Save GLB: Включено (true) для сохранения в формате GLB.
• Render Video: Включено (true) для рендеринга видео.
• Save Gaussian: Включено (true) для сохранения в формате Gaussian.
• Save Texture: Включено (true) для сохранения текстур.
• Save Wireframe: Включено (true) для сохранения видов каркаса.

1.3 3D-модель Trellis

Модели будут автоматически загружены на Runcomfy, подождите 2-3 минуты при их первой загрузке.

Местоположение загрузки моделей:

ComfyUI/
└── models/
└── checkpoints/
└── TRELLIS-image-large/
├── .gitattributes
├── pipeline.json
├── README.md
└── ckpts/
├── slat_dec_gs_swin8_B_64l8gs32_fp16.json
├── slat_dec_gs_swin8_B_64l8gs32_fp16.safetensors
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.json
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.safetensors
├── slat_dec_rf_swin8_B_64l8r16_fp16.json
├── slat_dec_rf_swin8_B_64l8r16_fp16.safetensors
├── slat_enc_swin8_B_64l8_fp16.json
├── slat_enc_swin8_B_64l8_fp16.safetensors
├── slat_flow_img_dit_L_64l8p2_fp16.json
├── slat_flow_img_dit_L_64l8p2_fp16.safetensors
├── ss_dec_conv3d_16l8_fp16.json
├── ss_dec_conv3d_16l8_fp16.safetensors
├── ss_enc_conv3d_16l8_fp16.json
├── ss_enc_conv3d_16l8_fp16.safetensors
└── ss_flow_img_dit_L_16l8_fp16.json
└── ss_flow_img_dit_L_16l8_fp16.safetensors


ComfyUI\models\classifiers/
└── dinov2_vitl14_reg.pth

Ссылка для загрузки моделей -

• Trellis - https://huggingface.co/JeffreyXiang/TRELLIS-image-large/tree/main
• DinoV2 - https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_pretrain.pth

Trellis расширяет границы генерации 3D-объектов своим инновационным подходом и гибкими возможностями вывода. объединяя структурированную латентную репрезентацию с корректированными потоковыми трансформаторами, он позволяет создателям легко производить высококачественный, универсальный 3D-контент. откройте новые творческие возможности с trellis.