LayerDiffuse + TripoSR | От изображения к 3D

1. Рабочий процесс ComfyUI: LayerDiffuse + TripoSR ｜ От изображения к 3D

В рабочем процессе ComfyUI мы используем возможности LayerDiffuse для создания изображений с прозрачным фоном. Затем как изображение, так и его маска передаются в TripoSR для создания 3D-объектов. Результатом является грубая, но быстро созданная 3D-модель, которая имеет многообещающий потенциал для дальнейшего совершенствования.

Для тех, кто хочет получить файл mesh (.obj), вы можете найти его в выходном разделе файловой системы. Этот упрощенный процесс предлагает прямой путь от изображения к 3D-модели, сочетая сильные стороны LayerDiffuse и TripoSR для улучшения вашего опыта создания 3D.

2. Обзор LayerDiffuse

Пожалуйста, ознакомьтесь с подробностями на

3. Обзор TripoSR

3.1. Введение в TripoSR

TripoSR - это передовая модель 3D-реконструкции, которая быстро преобразует одиночные изображения в 3D-объекты с удивительной скоростью и точностью. Эта инновация является совместным усилием Tripo AI и Stability AI. Используя архитектуру трансформера, TripoSR выделяется своей способностью быстро обрабатывать изображения в 3D-формы. Она базируется на архитектуре Large Reconstruction Model (LRM), но включает значительные улучшения в обработке данных, дизайне модели и процессе обучения. Эти достижения делают TripoSR более точной и эффективной, чем другие модели, доступные сегодня.

3.2. Техническая архитектура TripoSR

Основные части TripoSR включают три компонента: кодировщик изображений, декодер "изображение-в-триплан" и нейронное поле излучения на основе трипланов (NeRF). Кодировщик изображений использует предварительно обученную модель vision transformer для захвата как общих, так и специфических деталей входного изображения. Эти детали затем превращаются в подробную 3D-модель с помощью инновационной настройки triplane-NeRF. Уникально, что TripoSR может угадывать настройки камеры, что делает её универсальной и эффективной в различных условиях изображения без необходимости точной информации о камере.

3.3. Бенчмаркинг производительности TripoSR

Производительность TripoSR выделяется на фоне других ведущих моделей. Она постоянно превосходит в захвате тонких текстур и сложных форм объектов быстро. Эта исключительная производительность, достигнутая быстро на стандартном компьютерном оборудовании, демонстрирует потенциал TripoSR изменить ландшафт 3D-реконструкции.