Blender + ComfyUI | Rendu IA des Animations 3D

Rendus IA des Animations 3D : Blender + ComfyUI

Ce flux de travail innovant, développé par le talentueux , combine Blender et ComfyUI pour produire des animations 3D époustouflantes rendues avec l'IA. Nous recommandons vivement de consulter sa chaîne YouTube pour plus d'inspiration.

Dans ce qui suit, nous avons utilisé différents matériaux pour reproduire son approche. Voici les étapes :

🌟

Partie 1 : Utiliser Blender pour Créer des Animations 3D et des Passes de Rendu

1. Configurer une Scène 3D dans Blender

• Commencez par importer ou modéliser les actifs 3D nécessaires, tels que des personnages, des environnements et des accessoires. Disposez ces actifs dans la scène, positionnez les caméras et configurez les animations nécessaires. Supprimez les matériaux, textures et lumières existants, car ComfyUI les générera pendant le processus de rendu.

2. Rendre la Passe de Profondeur

• La passe de profondeur fournit des informations essentielles sur la distance pour améliorer la perception de la profondeur, qui sera utilisée dans ComfyUI.
• Dans Blender, allez dans Propriétés de la couche de vue, activez la passe Z et rendez l'image. Dans l'onglet Compositing, connectez un nœud de visualisation à la sortie de profondeur. Normalisez les valeurs de profondeur en utilisant un nœud Map Range pour créer un dégradé noir et blanc représentant la profondeur de la scène.

3. Rendre la Passe de Contour

• La passe de contour produit des bords d'art de ligne qui définissent les formes et les silhouettes des objets pour utilisation dans ComfyUI.
• Dans Blender, utilisez l'outil Freestyle pour créer des contours basés sur la géométrie 3D. Réglez la couleur sur blanc et ajustez l'épaisseur de la ligne. Rendez l'image et traitez-la dans l'onglet Compositing.

4. Rendre la Passe de Masque

• La passe de masque attribue des couleurs uniques à différents objets. Assurez-vous de noter les codes Hex pour ces couleurs, car ils seront utilisés pour des invites IA spécifiques dans ComfyUI.
• Dans Blender, attribuez des shaders d'émission simples avec des couleurs distinctes à chaque objet. Rendez l'image et enregistrez-la.

Pour des instructions détaillées sur ces étapes, consultez le tutoriel YouTube de si vous n'êtes pas familier avec Blender.

Après avoir terminé la Partie 1, vous aurez créé trois types de séquences d'images : des images de masque, des images de profondeur et des images de contour. Celles-ci seront utilisées dans l'étape suivante avec ComfyUI.

Partie 2 : Utiliser ComfyUI pour Rendre des Animations IA

Le flux de travail de ComfyUI de Mickmumpitz se compose de plusieurs composants clés :

1. Charger des Séquences d'Images

• Charger des Séquences de Masque : Chargez la séquence de masque puis utilisez le nœud "regional conditioning by color mask" pour séparer les objets dans l'image de masque. Entrez le code Hex obtenu à l'étape 1 dans le champ "mask_color". Ce nœud segmentera alors automatiquement les objets en fonction des couleurs attribuées. 🌟 Remarque : Nous utilisons des codes Hex spécifiques pour nos matériaux dans ce flux de travail. Si vous utilisez une image de masque différente, assurez-vous d'entrer le code Hex correspondant dans le champ "mask_color". Cela garantit que le nœud "regional conditioning by color mask" segmente correctement les objets.
• Charger des Séquences de Profondeur : Chargez les séquences de profondeur pour fournir des informations sur la distance des objets dans la scène.
• Charger des Séquences de Contour : Chargez les séquences de contour pour définir les formes et les bords des objets dans la scène.

🌟 Comment Charger des Séquences d'Images par Chemin

Organisez Vos Séquences

• Placez vos séquences de masque dans un dossier, par exemple, {mask}.
• Placez vos séquences de profondeur dans un dossier séparé, par exemple, {depth}.
• Placez vos séquences de contour dans un autre dossier, par exemple, {outline}.

Téléchargez les Dossiers

• Utilisez notre navigateur de fichiers pour télécharger ces dossiers dans le répertoire ComfyUI/input.

Chemin du Répertoire

• Le chemin complet du répertoire doit être : /home/user/ComfyUI/input/{folder_name}.
• Par exemple : /home/user/ComfyUI/input/{mask}.

2. Utiliser des Invites Textuelles pour Définir des Effets Visuels

Pour les Séquences de Masque, utilisez des invites textuelles pour spécifier les effets visuels souhaités pour chaque objet dans la scène.

• Invite Principale : Cette invite définit le style général et l'éclairage de toute la scène. Elle dicte l'ambiance générale, l'atmosphère et le ton visuel que le rendu final doit atteindre.
• Invites Régionales : Ces invites fournissent des descriptions détaillées pour des objets ou des zones spécifiques dans la scène. Chaque invite doit correspondre à un objet ou une région distincte, garantissant que chaque élément est représenté fidèlement comme prévu.
• Invite Négative : Cette invite liste les éléments qui doivent être exclus du rendu. Elle aide à empêcher certaines caractéristiques ou objets d'apparaître dans le résultat final, assurant que la scène reste focalisée et exempte de détails indésirables.

3. Module ControlNet

• Entrez les séquences de profondeur dans le modèle ControlNet Depth.
• Entrez les séquences de contour dans le modèle ControlNet Canny.

4. Module AnimateDiff

• Utilisez ce module pour rendre des animations fluides à partir des séquences traitées.

5. Utilisation Optionnelle d'IPAdapter

• Utilisez l'IPAdapter pour une orientation de conditionnement supplémentaire afin d'améliorer la cohérence et la qualité des images générées.

En utilisant les données 3D précises de Blender ainsi que les puissantes capacités de synthèse d'images de Stable Diffusion via ComfyUI, vous pouvez générer des animations 3D incroyablement photoréalistes ou stylisées avec un contrôle créatif total.