Hunyuan3D | ComfyUI 3D Pack

Ce guide fournit une introduction complète à la création de contenu 3D avec le modèle 'Hunyuan3D', utilisant les capacités avancées des nœuds "ComfyUI 3D Pack" pour rationaliser les flux de travail et améliorer la qualité des résultats.

Partie 1 : ComfyUI 3D Pack

1.1. Introduction au ComfyUI 3D Pack

Le ComfyUI 3D Pack est une suite de nœuds étendue qui permet à ComfyUI de traiter des entrées 3D telles que Mesh & UV Texture en utilisant des algorithmes et modèles de pointe. Il intègre des algorithmes de traitement 3D avancés comme 3DGS (Gaussian Splatting) et NeRF (Neural Radiance Fields), ainsi que des modèles à la pointe de la technologie incluant Hunyuan3D**,** StableFast3D, InstantMesh, CRM, TripoSR et d'autres.

Avec le ComfyUI 3D Pack, les utilisateurs peuvent importer, manipuler et générer du contenu 3D de haute qualité dans l'interface intuitive de ComfyUI. Il prend en charge une large gamme de formats de fichiers 3D comme OBJ, PLY, GLB permettant une intégration facile des modèles 3D existants. Le pack inclut également des utilitaires puissants de traitement de maillage pour éditer, nettoyer et optimiser la géométrie 3D.

L'un des points forts est l'intégration de la technologie NeRF qui permet la reconstruction photoréaliste 3D à partir d'images 2D. Les nœuds 3DGS permettent le rendu et la stylisation de nuages de points. Les modèles InstantMesh et TripoSR permettent l'upscaling haute résolution et la super-résolution des maillages 3D. Le CRM (Convolutional Reconstruction Model) permet de récupérer la forme 3D à partir d'images multi-vues et le CCM (Color Correction Map).

Le ComfyUI 3D Pack a été développé par , avec tout le crédit allant à MrForExample. Pour des informations détaillées, veuillez consulter .

1.2. ComfyUI 3D Pack : Prêt à fonctionner sur RunComfy

Désormais, le ComfyUI 3D Pack est entièrement configuré et prêt à être utilisé sur le site RunComfy. Les utilisateurs n'ont pas besoin d'installer de logiciels ou de dépendances supplémentaires. Tous les modèles, algorithmes et outils requis sont préconfigurés et optimisés pour fonctionner efficacement dans l'environnement web de ComfyUI.

Partie 2 : Utilisation du modèle Hunyuan3D avec les nœuds ComfyUI 3D Pack

2.1. Qu'est-ce que Hunyuan3D ?

Hunyuan3D est un cadre innovant de génération 3D développé par Tencent qui combine la puissance des modèles de diffusion multi-vues et des modèles de reconstruction à vue éparse pour créer des actifs 3D de haute qualité à partir d'images uniques ou de descriptions textuelles. Le cadre Hunyuan3D 1.0 est disponible en deux versions : une version légère et une version standard, toutes deux prenant en charge la génération conditionnée par le texte et l'image. Pour des informations détaillées, veuillez consulter .

2.2. Techniques derrière Hunyuan3D

Hunyuan3D introduit plusieurs innovations techniques pour améliorer la vitesse et la qualité de la génération 3D :

a. Pipeline en deux étapes :

Dans la première étape, un modèle de diffusion multi-vues génère efficacement des images RGB multi-vues. Ces images capturent des détails riches de l'actif 3D sous différents angles de vue.

La deuxième étape utilise un modèle de reconstruction feed-forward qui reconstruit rapidement l'actif 3D à partir des images multi-vues générées.

b. Distribution de pose à élévation 0

La génération multi-vues de Hunyuan3D utilise une orbite de caméra à élévation 0, maximisant la zone visible entre les vues générées et améliorant la qualité de la reconstruction.

c. Guidance adaptative sans classificateur

Cette technique équilibre la contrôlabilité et la diversité pour la diffusion multi-vues, garantissant des résultats cohérents et de haute qualité.

d. Entrées hybrides

Le modèle de reconstruction à vue éparse intègre l'image de condition non calibrée comme vue auxiliaire pour compenser les parties invisibles dans les images générées, améliorant ainsi la précision de la reconstruction.

2.3. Avantages et limitations potentielles de Hunyuan3D

Avantages :

• Génération 3D rapide : Hunyuan3D peut créer des actifs 3D de haute qualité en seulement 10 secondes, réduisant significativement le temps de génération par rapport aux méthodes basées sur l'optimisation.
• Amélioration de la généralisation : En séparant les tâches de génération à vue unique en génération d'images multi-vues et reconstruction à vue éparse, Hunyuan3D obtient une meilleure généralisation pour les objets non vus.
• Cadre unifié : Hunyuan3D prend en charge la génération 3D conditionnée par le texte et l'image, en faisant un outil polyvalent pour diverses applications.

Limitations potentielles :

• Exigences en mémoire : La version standard de Hunyuan3D a 3x plus de paramètres que la version légère, ce qui peut nécessiter plus de mémoire pour des performances optimales.
• Génération de structures fines : Comme d'autres méthodes feed-forward, Hunyuan3D peut avoir des difficultés à générer des structures fines, semblables à du papier.

2.4. Comment utiliser le workflow Hunyuan3D dans ComfyUI

Voici un guide étape par étape pour utiliser le workflow Hunyuan3D pour générer des maillages 3D de haute qualité à partir d'images uniques

Chargez le modèle de diffusion multi-vues Hunyuan3D en utilisant le nœud "[Comfy3D] Load Diffusers Pipeline". Choisissez entre la version légère ou standard en fonction de votre mémoire GPU.

Chargez le modèle de reconstruction Hunyuan3D en utilisant le nœud "[Comfy3D] Load Hunyuan3D V1 Reconstruction Model".

Préparez l'image d'entrée et le masque en utilisant les nœuds "LoadImage" et "InvertMask".

Alimentez le pipeline de diffusion chargé, l'image d'entrée et le masque dans le nœud "[Comfy3D] Hunyuan3D V1 MVDiffusion Model" pour générer des images multi-vues et une image de condition.

Prévisualisez les images multi-vues générées en utilisant le nœud "PreviewImage".

Entrez le modèle de reconstruction chargé, les images multi-vues générées et l'image de condition dans le nœud "[Comfy3D] Hunyuan3D V1 Reconstruction Model" pour créer le maillage 3D. Vous pouvez également ajuster l'axe et l'échelle du maillage en utilisant le nœud "[Comfy3D] Switch Mesh Axis" si nécessaire.

(Facultatif) Convertissez les couleurs des sommets en textures en utilisant le nœud "[Comfy3D] Convert Vertex Color To Texture" pour améliorer la qualité des textures.

Maintenant, vous pouvez débloquer tout le potentiel de Hunyuan3D pour créer des actifs 3D époustouflants à partir d'une seule image. Le modèle Hunyuan3D rend la génération 3D avancée plus accessible que jamais !