Era3D | ComfyUI 3D Pack

Dieser Leitfaden bietet eine umfassende Einführung in die Erstellung von 3D-Inhalten mit dem "Era3D"-Modell, wobei die fortschrittlichen Fähigkeiten der "ComfyUI 3D Pack"-Knoten genutzt werden, um Arbeitsabläufe zu optimieren und die Ausgabequalität zu verbessern.

Teil 1: ComfyUI 3D Pack

1.1. Einführung in das ComfyUI 3D Pack

Das ComfyUI 3D Pack ist eine umfangreiche Knoten-Suite, die es ComfyUI ermöglicht, 3D-Eingaben wie Mesh & UV-Textur mit modernsten Algorithmen und Modellen zu verarbeiten. Es integriert fortschrittliche 3D-Verarbeitungsalgorithmen wie 3DGS (Gaussian Splatting) und NeRF (Neural Radiance Fields) sowie hochmoderne Modelle einschließlich Hunyuan3D, StableFast3D, InstantMesh, CRM, TripoSR und andere.

Mit dem ComfyUI 3D Pack können Benutzer qualitativ hochwertige 3D-Inhalte innerhalb der intuitiven ComfyUI-Oberfläche importieren, manipulieren und generieren. Es unterstützt eine Vielzahl von 3D-Dateiformaten wie OBJ, PLY, GLB und ermöglicht die einfache Integration bestehender 3D-Modelle. Das Paket enthält auch leistungsstarke Netzverarbeitungswerkzeuge, um 3D-Geometrien zu bearbeiten, zu reinigen und zu optimieren.

Ein besonderes Highlight ist die Integration der NeRF-Technologie, die eine fotorealistische 3D-Rekonstruktion aus 2D-Bildern ermöglicht. Die 3DGS-Knoten ermöglichen Punktwolken-Rendering und -Stilisierung. InstantMesh- und TripoSR-Modelle ermöglichen hochauflösende Hochskalierung und Superauflösung von 3D-Netzen. CRM (Convolutional Reconstruction Model) ermöglicht die Wiederherstellung von 3D-Formen aus Mehransichtenbildern und CCM (Color Correction Map).

Das ComfyUI 3D Pack wurde von entwickelt, alle Ehre gebührt MrForExample. Für detaillierte Informationen siehe bitte .

1.2. ComfyUI 3D Pack: Bereit zur Ausführung auf RunComfy

Das ComfyUI 3D Pack ist jetzt vollständig eingerichtet und bereit zur Nutzung auf der RunComfy-Website. Benutzer müssen keine zusätzliche Software oder Abhängigkeiten installieren. Alle erforderlichen Modelle, Algorithmen und Werkzeuge sind vorkonfiguriert und optimiert, um effizient in der webbasierten ComfyUI-Umgebung zu laufen.

Teil 2: Verwendung des Era3D-Modells mit ComfyUI 3D Pack-Knoten

2.1. Was ist Era3D?

Era3D ist eine hochmoderne Mehransichten-Diffusionsmethode, die qualitativ hochwertige, hochauflösende Mehransichtenbilder aus einem einzigen Eingabebild erzeugt. Es behebt mehrere Einschränkungen bestehender Mehransichtengenerierungsmethoden, wie inkonsistente Kamera-Vorgaben, ineffiziente Mehransichten-Aufmerksamkeit und niedrige Ausgaberauflösung. Era3D erreicht eine überlegene 3D-Rekonstruktionsqualität im Vergleich zu Basismethoden.

Era3D wurde von einem Forscherteam der HKUST, HKU, DreamTech, PKU und LightIllusion entwickelt. Alle Ehre gebührt ihren Beiträgen und Fortschritten im Bereich der Mehransichtendiffusion und 3D-Rekonstruktion. Für detaillierte Informationen siehe bitte

2.2. Techniken hinter Era3D

1. Diffusions-basiertes Kamera-Prognosemodul: Era3D schätzt die Brennweite und Elevation des Eingabebildes ab, sodass es Bilder ohne Formverzerrungen generieren kann, auch wenn das Eingabebild von Kameras mit unterschiedlichen Intrinsiken aufgenommen wurde.
2. Zeilenweise Mehransichten-Aufmerksamkeit: Era3D führt eine effiziente Aufmerksamkeits-Schicht ein, die epipolare Vorgaben im Mehransichtendiffusionsprozess erzwingt. Durch die Ausrichtung epipolarer Linien mit Bildzeilen in der kanonischen Kameraeinstellung reduziert Era3D die Berechnungskomplexität und den Speicherverbrauch erheblich im Vergleich zu dichter Mehransichten-Aufmerksamkeit.
3. Hochauflösende Ausgabe: Era3D kann Mehransichtenbilder mit einer Auflösung von bis zu 512×512 erzeugen, was die Rekonstruktion detaillierterer 3D-Netze ermöglicht.

2.3. Vorteile und mögliche Einschränkungen von Era3D

Vorteile:

• Verarbeitet Eingabebilder mit beliebigen Kamera-Intrinsiken und Blickwinkeln
• Effiziente zeilenweise Mehransichten-Aufmerksamkeit für schnelleres Training und Inferenz
• Erzeugt hochauflösende (512×512) Mehransichtenbilder für detaillierte 3D-Rekonstruktion
• Erzielt hochmoderne Leistung in der Einzelansicht-3D-Rekonstruktion

Mögliche Einschränkungen:

• Schwierigkeiten bei der Erzeugung komplexer Geometrien wie dünner Strukturen aufgrund der begrenzten Anzahl generierter Ansichten
• Kann keine Netze mit offenen Oberflächen rekonstruieren aufgrund der Verwendung von Neural SDF für die Rekonstruktion

2.4. Verwendung des Era3D-Workflows in ComfyUI

Das ComfyUI 3D Pack bietet eine nahtlose Integration des Era3D-Modells, die es Benutzern ermöglicht, qualitativ hochwertige 3D-Netze aus einem einzigen Eingabebild zu erzeugen. Der Workflow besteht aus den folgenden Schritten:

Laden Sie die vortrainierte Era3D-Diffusions-Pipeline mit dem "[Comfy3D] Load Diffusers Pipeline"-Knoten.

Laden Sie das Eingabebild und seine entsprechende Maske mit dem "LoadImage"-Knoten. Invertieren Sie die Maske mit dem "InvertMask"-Knoten, um eine ordnungsgemäße Hintergrundbehandlung sicherzustellen.

Verwenden Sie den "[Comfy3D] Era3D MVDiffusion Model"-Knoten, um Mehransichtenbilder, Normalenkarten und Orbit-Kameraposen aus dem Eingabebild und der Maske zu erzeugen. Dieser Knoten nutzt das vortrainierte Era3D-Modell, um hochauflösende, konsistente Mehransichten-Ausgaben zu generieren.

Verwenden Sie den "[Comfy3D] InstantMesh Reconstruction Model"-Knoten, um das 3D-Netz aus den generierten Mehransichtenbildern und Orbit-Kameraposen zu rekonstruieren. Dieser Knoten nutzt die Leistung von InstantMesh zur Erstellung eines qualitativ hochwertigen 3D-Netzes. Passen Sie die Netzausrichtung mit dem "[Comfy3D] Switch Mesh Axis"-Knoten an, um die korrekte Ausrichtung des 3D-Modells sicherzustellen, falls erforderlich.

Durch die Nutzung des Era3D-Modells und der ComfyUI 3D Pack-Knoten können Benutzer einfach qualitativ hochwertige 3D-Netze aus einem einzigen Eingabebild generieren. Die Integration von Era3D in ComfyUI ermöglicht einen leistungsfähigen und effizienten Workflow für die Einzelansicht-3D-Rekonstruktion.