Era3D | ComfyUI 3D Pack

Ce guide fournit une introduction complète à la création de contenu 3D avec le modèle "Era3D", en utilisant les capacités avancées des nœuds "ComfyUI 3D Pack" pour rationaliser les workflows et améliorer la qualité des sorties.

Partie 1 : ComfyUI 3D Pack

1.1. Introduction au ComfyUI 3D Pack

Le ComfyUI 3D Pack est une suite de nœuds extensive qui permet à ComfyUI de traiter des entrées 3D telles que Mesh & UV Texture en utilisant des algorithmes et des modèles de pointe. Il intègre des algorithmes de traitement 3D avancés comme 3DGS (Gaussian Splatting) et NeRF (Neural Radiance Fields), ainsi que des modèles de pointe incluant Hunyuan3D**,** StableFast3D, InstantMesh, CRM, TripoSR et d'autres.

Avec le ComfyUI 3D Pack, les utilisateurs peuvent importer, manipuler et générer du contenu 3D de haute qualité au sein de l'interface intuitive de ComfyUI. Il prend en charge une large gamme de formats de fichiers 3D comme OBJ, PLY, GLB permettant une intégration facile des modèles 3D existants. Le pack comprend également des utilitaires puissants de traitement de maillage pour éditer, nettoyer et optimiser la géométrie 3D.

Un des points forts est l'intégration de la technologie NeRF qui permet une reconstruction 3D photoréaliste à partir d'images 2D. Les nœuds 3DGS permettent le rendu et la stylisation de nuages de points. Les modèles InstantMesh et TripoSR permettent une mise à l'échelle haute résolution et une super-résolution des maillages 3D. Le CRM (Convolutional Reconstruction Model) permet de récupérer la forme 3D à partir d'images multi-vues et CCM (Color Correction Map).

Le ComfyUI 3D Pack a été développé par , avec tous les crédits revenant à MrForExample. Pour plus d'informations, veuillez consulter .

1.2. ComfyUI 3D Pack : Prêt à l'emploi sur RunComfy

Maintenant, le ComfyUI 3D Pack est entièrement configuré et prêt à être utilisé sur le site RunComfy. Les utilisateurs n'ont pas besoin d'installer de logiciels ou de dépendances supplémentaires. Tous les modèles, algorithmes et outils nécessaires sont préconfigurés et optimisés pour fonctionner efficacement dans l'environnement web de ComfyUI.

Partie 2 : Utilisation du modèle Era3D avec les nœuds ComfyUI 3D Pack

2.1. Qu'est-ce que Era3D ?

Era3D est une méthode de diffusion multivue de pointe qui génère des images multivues haute qualité et haute résolution à partir d'une seule image d'entrée. Elle aborde plusieurs limitations des méthodes de génération multivue existantes, telles que les préjugés de caméra incohérents, l'attention multivue inefficace et la faible résolution de sortie. Era3D atteint une qualité de reconstruction 3D supérieure par rapport aux méthodes de référence.

Era3D a été développé par une équipe de chercheurs de HKUST, HKU, DreamTech, PKU et LightIllusion. Tous les crédits vont à leurs contributions et avancées dans le domaine de la diffusion multivue et de la reconstruction 3D. Pour plus d'informations, veuillez consulter

2.2. Techniques derrière Era3D

1. Module de prédiction de caméra basé sur la diffusion : Era3D estime la distance focale et l'élévation de l'image d'entrée, lui permettant de générer des images sans distorsions de forme même lorsque l'image d'entrée est capturée par des caméras avec des intrinsics différents.
2. Attention multivue par ligne : Era3D introduit une couche d'attention efficace qui impose des préjugés épipolaires dans le processus de diffusion multivue. En alignant les lignes épipolaires avec les lignes d'image dans le cadre de la caméra canonique, Era3D réduit considérablement la complexité de calcul et la consommation de mémoire par rapport à l'attention multivue dense.
3. Sortie haute résolution : Era3D peut générer des images multivues avec une résolution allant jusqu'à 512×512, permettant la reconstruction de maillages 3D plus détaillés.

2.3. Avantages et Limitations Potentielles de Era3D

Avantages :

• Gère les images d'entrée avec des intrinsics et des points de vue de caméra arbitraires
• Attention multivue par ligne efficace pour un entraînement et une inférence plus rapides
• Génère des images multivues haute résolution (512×512) pour une reconstruction 3D détaillée
• Atteint des performances de pointe en reconstruction 3D monoculaire

Limitations Potentielles :

• A des difficultés à générer des géométries complexes comme les structures fines en raison du nombre limité de vues générées
• Ne peut pas reconstruire des maillages avec des surfaces ouvertes en raison de l'utilisation de Neural SDF pour la reconstruction

2.4. Comment utiliser le Workflow Era3D dans ComfyUI

Le ComfyUI 3D Pack fournit une intégration transparente du modèle Era3D, permettant aux utilisateurs de générer des maillages 3D de haute qualité à partir d'une seule image d'entrée. Le workflow se compose des étapes suivantes :

Chargez le pipeline de diffusion pré-entraîné Era3D en utilisant le nœud "[Comfy3D] Load Diffusers Pipeline".

Chargez l'image d'entrée et son masque correspondant en utilisant le nœud "LoadImage". Inversez le masque à l'aide du nœud "InvertMask" pour assurer une gestion correcte de l'arrière-plan.

Utilisez le nœud "[Comfy3D] Era3D MVDiffusion Model" pour générer des images multivues, des cartes normales et des poses de caméra en orbite à partir de l'image et du masque d'entrée. Ce nœud utilise le modèle Era3D pré-entraîné pour générer des sorties multivues haute résolution et cohérentes.

Utilisez le nœud "[Comfy3D] InstantMesh Reconstruction Model" pour reconstruire le maillage 3D à partir des images multivues générées et des poses de caméra en orbite. Ce nœud exploite la puissance d'InstantMesh pour créer un maillage 3D de haute qualité. Ajustez l'orientation du maillage en utilisant le nœud "[Comfy3D] Switch Mesh Axis" pour assurer l'alignement correct du modèle 3D si nécessaire.

En utilisant le modèle Era3D et les nœuds ComfyUI 3D Pack, les utilisateurs peuvent facilement générer des maillages 3D de haute qualité à partir d'une seule image d'entrée. L'intégration d'Era3D dans ComfyUI permet un workflow puissant et efficace pour la reconstruction 3D monoculaire.