LayerDiffuse + TripoSR | Obraz do 3D

1. Przepływ pracy ComfyUI: LayerDiffuse + TripoSR ｜ Obraz do 3D

W przepływie pracy ComfyUI wykorzystujemy możliwości LayerDiffuse do tworzenia obrazów z przezroczystym tłem. Następnie zarówno obraz, jak i jego maska są przekazywane do TripoSR w celu stworzenia obiektów 3D. Wynikiem jest surowy, ale szybko wyprodukowany model 3D, który pokazuje obiecujący potencjał do dalszego udoskonalenia.

Dla tych, którzy są zainteresowani uzyskaniem pliku mesh (.obj), można go znaleźć w sekcji wyjściowej systemu plików. Ten uproszczony proces oferuje prostą ścieżkę od obrazu do modelu 3D, łącząc siły LayerDiffuse i TripoSR, aby poprawić doświadczenie tworzenia 3D.

2. Przegląd LayerDiffuse

Proszę sprawdzić szczegóły na How to use LayerDiffuse in ComfyUI

3. Przegląd TripoSR

3.1. Wprowadzenie do TripoSR

TripoSR to nowoczesny model rekonstrukcji 3D, który szybko zamienia pojedyncze obrazy w obiekty 3D z zadziwiającą szybkością i precyzją. Ta innowacja jest wspólnym wysiłkiem Tripo AI i Stability AI. Wykorzystując architekturę transformatora, TripoSR wyróżnia się zdolnością do szybkiego przetwarzania obrazów w formy 3D. Opiera się na architekturze sieci Large Reconstruction Model (LRM), ale wprowadza znaczące usprawnienia w przetwarzaniu danych, projektowaniu modelu i udoskonalaniu procesu szkolenia. Te usprawnienia sprawiają, że TripoSR jest dokładniejszy i bardziej wydajny niż inne dostępne modele.

3.2. Architektura techniczna TripoSR

Trzon TripoSR obejmuje trzy główne części: enkoder obrazu, dekoder obraz-do-triplane oraz triplane-based neural radiance field (NeRF). Enkoder obrazu wykorzystuje wstępnie wytrenowany model transformatora wizji do uchwycenia zarówno szerokich, jak i szczegółowych informacji z obrazu wejściowego. Te szczegóły są następnie przekształcane w szczegółowy model 3D za pomocą innowacyjnej konfiguracji triplane-NeRF. Unikalnie, TripoSR może zgadywać ustawienia kamery, co czyni go wszechstronnym i wydajnym w różnych warunkach obrazowych bez konieczności posiadania dokładnych informacji o kamerze.

3.3. Benchmarking wydajności TripoSR

Wydajność TripoSR wyróżnia się w porównaniu z innymi wiodącymi modelami. Konsekwentnie przewyższa w uchwyceniu drobnych tekstur i skomplikowanych kształtów obiektów szybko. Ta wyjątkowa wydajność, osiągnięta szybko na standardowym sprzęcie komputerowym, pokazuje potencjał TripoSR do zmiany krajobrazu rekonstrukcji 3D.