Trellis | Bild zu 3D

TRELLIS revolutioniert die Erstellung von 3D-Assets durch die Einführung eines bahnbrechenden Ansatzes, der spärliche 3D-Strukturen nahtlos mit reichhaltigen visuellen Merkmalen integriert. Im Herzen von TRELLIS liegt die innovative Structured LATent (SLAT) Darstellung, die es Ihnen ermöglicht, atemberaubende 3D-Objekte mit komplexen Geometrien und lebendigen Texturen mühelos zu erzeugen, die die Fähigkeiten bestehender Methoden übertreffen. Was TRELLIS auszeichnet, ist seine unvergleichliche Vielseitigkeit, da es dynamisch eine Vielzahl von Ausgabeformaten unterstützt, darunter Radiance Fields, 3D-Gaussians und Meshen. Durch die Nutzung der Leistungsfähigkeit von Rectified Flow Transformers erreicht TRELLIS außergewöhnliche Präzision und bietet unvergleichliche kreative Freiheit bei der Erstellung von 3D-Inhalten.

1 Wie verwendet man den TRELLIS-Workflow?

Dies ist der TRELLIS-Workflow. Der Knoten auf der linken Seite ist der Eingabeknoten zum Hochladen von Bildern, der mittlere Knoten verarbeitet TRELLIS-Knoten, und der rechte Knoten ist der Ausgabeknoten.

• Laden Sie Ihr Bild in die Eingabeknoten hoch.
• Klicken Sie auf Rendern!!!

Alle Ausgaben (GLB, Texturen und Vorschauen) werden im Ausgabeverzeichnis von ComfyUI im Ordner "Output_3D_Trellis" gespeichert.

1.1 Bildeingabe

• Klicken und laden Sie Ihr Referenzbild hoch, um ein 3D-Modell zu erstellen.

1.2 Trellis Bild zu 3D-Knoten

Eingabeoptionen

• Model: Gibt die Modelldatei an, die für die Erstellung von 3D-Assets verwendet wird.
• Images: Eingabebilder zur Verarbeitung.
• Video Path: Option zum Eingeben eines Videopfads für die 3D-Erstellung.
• Masks: Eingabe für Texturmaskierung, bezeichnet als texture_image.

Konfigurationseinstellungen

• Mode: Auswahl zwischen verschiedenen Modi (z.B. single).
• Seed: Zufallswert für deterministische Ausgaben (auf 7777 gesetzt).
• Control After Generate: Bestimmt, wann Steuerungsaktionen erfolgen (fixiert, inkrementell oder zufällig).

Anleitung und Abtastung

• SS Guidance Strength: Steuert die Stärke der stabilen Strukturführung (auf 7.5 gesetzt).
• SS Sampling Steps: Anzahl der Abtastschritte für stabile Struktur (auf 12 gesetzt).
• SLAT Guidance Strength: Steuert die Stärke der SLAT-Darstellung (3.0).
• SLAT Sampling Steps: Anzahl der Abtastschritte für SLAT (12).

Mesh- und Texturoptionen

• Mesh Simplify: Grad der Mesh-Vereinfachung (auf 0.95 gesetzt).
• Texture Size: Texturauflösungsgröße (1024).
• Texture Mode: Modus für die Texturverarbeitung (schnell).
• FPS: Bilder pro Sekunde für die Wiedergabe (15).

Ausgabeoptionen

• Multimode: Modus für die Ausgabeerstellung (stochastisch).
• Project Name: Name für das generierte Projekt (Output_3D_Trellis).

Speicheroptionen

• Save GLB: Aktiviert (wahr) für das Speichern im GLB-Format.
• Render Video: Aktiviert (wahr) für die Videoausgabe.
• Save Gaussian: Aktiviert (wahr) für das Speichern im Gaussian-Format.
• Save Texture: Aktiviert (wahr) für das Speichern von Texturen.
• Save Wireframe: Aktiviert (wahr) für das Speichern von Drahtgitteransichten.

1.3 Trellis 3D-Modell

Die Modelle werden automatisch auf Runcomfy heruntergeladen, warten Sie 2-3 Minuten beim ersten Herunterladen.

Modell-Download-Standort:

ComfyUI/
└── models/
└── checkpoints/
└── TRELLIS-image-large/
├── .gitattributes
├── pipeline.json
├── README.md
└── ckpts/
├── slat_dec_gs_swin8_B_64l8gs32_fp16.json
├── slat_dec_gs_swin8_B_64l8gs32_fp16.safetensors
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.json
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.safetensors
├── slat_dec_rf_swin8_B_64l8r16_fp16.json
├── slat_dec_rf_swin8_B_64l8r16_fp16.safetensors
├── slat_enc_swin8_B_64l8_fp16.json
├── slat_enc_swin8_B_64l8_fp16.safetensors
├── slat_flow_img_dit_L_64l8p2_fp16.json
├── slat_flow_img_dit_L_64l8p2_fp16.safetensors
├── ss_dec_conv3d_16l8_fp16.json
├── ss_dec_conv3d_16l8_fp16.safetensors
├── ss_enc_conv3d_16l8_fp16.json
├── ss_enc_conv3d_16l8_fp16.safetensors
└── ss_flow_img_dit_L_16l8_fp16.json
└── ss_flow_img_dit_L_16l8_fp16.safetensors


ComfyUI\models\classifiers/
└── dinov2_vitl14_reg.pth

Modell-Download-Link -

• Trellis - https://huggingface.co/JeffreyXiang/TRELLIS-image-large/tree/main
• DinoV2 - https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_pretrain.pth

Trellis erweitert die Grenzen der 3D-Asset-Erstellung mit seinem innovativen Ansatz und flexiblen Ausgabemöglichkeiten. Durch die Kombination der strukturierten latenten Darstellung mit korrigierten Flow-Transformern ermöglicht es Kreativen, hochwertige, vielseitige 3D-Inhalte mühelos zu produzieren. Entdecken Sie neue kreative Möglichkeiten mit Trellis.