Blender + ComfyUI | AI Rendering 3D Animaties

AI-renderingen van 3D-animaties: Blender + ComfyUI

Deze innovatieve workflow, ontwikkeld door de getalenteerde Mickmumpitz, combineert Blender en ComfyUI om verbluffende 3D-animaties te produceren die met AI zijn gerenderd. We raden ten zeerste aan om zijn YouTube-kanaal te bekijken voor meer inspiratie.

In het volgende hebben we verschillende materialen gebruikt om zijn aanpak te reproduceren. Hier zijn de stappen:

🌟 Download al onze Blender-materialen voor experimenten via deze link.

Deel 1: Blender gebruiken om 3D-animaties en render passes te maken

1. Stel een 3D-scène in Blender in

• Begin met het importeren of modelleren van de benodigde 3D-assets, zoals personages, omgevingen en rekwisieten. Rangschik deze assets binnen de scène, positioneer de camera's en stel eventuele vereiste animaties in. Verwijder bestaande materialen, texturen en lichten, omdat ComfyUI deze tijdens het renderen zal genereren.

2. Render de dieptepass

• De dieptepass biedt essentiële afstandsinformatie om dieptewaarneming te verbeteren, wat in ComfyUI zal worden gebruikt.
• Ga in Blender naar View Layer Properties, activeer de Z pass en render de afbeelding. Verbind in het tabblad Compositing een viewer-node met de diepte-uitvoer. Normaliseer de dieptewaarden met een Map Range node om een zwart-wit gradient te creëren die de diepte van de scène vertegenwoordigt.

3. Render de omtrekpass

• De omtrekpass produceert lijnkunstcontouren die de vormen en silhouetten van objecten definiëren voor gebruik in ComfyUI.
• Gebruik in Blender de Freestyle-tool om omtrekken te creëren op basis van de 3D-geometrie. Stel de kleur in op wit en pas de lijndikte aan. Render de afbeelding en verwerk deze in het tabblad Compositing.

4. Render de maskerpass

• De maskerpass wijst unieke kleuren toe aan verschillende objecten. Zorg ervoor dat je de hex-codes voor deze kleuren noteert, omdat deze zullen worden gebruikt voor specifieke AI-prompts in ComfyUI.
• Wijs in Blender eenvoudige emissie-shaders met verschillende kleuren toe aan elk object. Render de afbeelding en sla deze op.

Voor gedetailleerde instructies over deze stappen, raadpleeg de YouTube-tutorial van Mickmumpitz als je niet bekend bent met Blender.

Na voltooiing van Deel 1 heb je drie soorten afbeeldingssequenties gemaakt: maskerafbeeldingen, diepteafbeeldingen en omtrekafbeeldingen. Deze zullen in de volgende stap worden gebruikt met ComfyUI.

Deel 2: ComfyUI gebruiken om AI-animaties te renderen

De ComfyUI-workflow van Mickmumpitz bestaat uit verschillende belangrijke componenten:

1. Laad afbeeldingssequenties

• Laad masker-sequenties: Laad de masker-sequentie en gebruik vervolgens de "regional conditioning by color mask" node om de objecten in de maskerafbeelding te scheiden. Voer de hex-code verkregen uit Stap 1 in het veld "mask_color" in. Deze node segmenteert dan automatisch objecten op basis van de toegewezen kleuren. 🌟 Opmerking: We gebruiken specifieke hex-codes voor onze materialen in deze workflow. Als je een andere maskerafbeelding gebruikt, zorg er dan voor dat je de overeenkomstige hex-code invoert in het veld "mask_color". Dit zorgt ervoor dat de "regional conditioning by color mask" node de objecten correct segmenteert.
• Laad diepte-sequenties: Laad de diepte-sequenties om informatie te verstrekken over de afstand van objecten in de scène.
• Laad omtrek-sequenties: Laad de omtrek-sequenties om de vormen en randen van objecten in de scène te definiëren.

🌟 Hoe afbeeldingssequenties per pad te laden

Organiseer je sequenties

• Plaats je masker-sequenties in een map, bijvoorbeeld {mask}.
• Plaats je diepte-sequenties in een aparte map, bijvoorbeeld {depth}.
• Plaats je omtrek-sequenties in een andere map, bijvoorbeeld {outline}.

Upload mappen

• Gebruik onze bestandsbrowser om deze mappen te uploaden naar de directory ComfyUI/input.

Directorypad

• Het volledige directorypad moet zijn: /home/user/ComfyUI/input/{folder_name}.
• Bijvoorbeeld: /home/user/ComfyUI/input/{mask}.

2. Gebruik tekstprompts om visuele effecten te definiëren

Voor masker-sequenties, gebruik tekstprompts om de gewenste visuele effecten voor elk object in de scène te specificeren.

• Master Prompt: Deze prompt stelt de algehele stijl en verlichting voor de hele scène in. Het bepaalt de algemene sfeer, stemming en visuele toon die de uiteindelijke rendering moet bereiken.
• Regionale Prompts: Deze prompts bieden gedetailleerde beschrijvingen voor specifieke objecten of gebieden binnen de scène. Elke prompt moet overeenkomen met een afzonderlijk object of gebied, zodat elk element nauwkeurig wordt weergegeven zoals bedoeld.
• Negatieve Prompt: Deze prompt somt de elementen op die moeten worden uitgesloten van de rendering. Het helpt bepaalde functies of objecten te voorkomen in de uiteindelijke output, zodat de scène gefocust blijft en vrij van ongewenste details.

3. ControlNet Module

• Voer de diepte-sequenties in in het ControlNet Depth model.
• Voer de omtrek-sequenties in in het ControlNet Canny model.

4. AnimateDiff Module

• Gebruik deze module om vloeiende animaties te renderen uit de verwerkte sequenties.

5. Optioneel gebruik van IPAdapter

• Gebruik de IPAdapter voor extra conditionering om de consistentie en kwaliteit van de gegenereerde afbeeldingen te verbeteren.

Door de nauwkeurige 3D-gegevens van Blender te combineren met de krachtige beeldsynthesemogelijkheden van Stable Diffusion via ComfyUI, kun je ongelooflijk fotorealistische of gestileerde 3D-animaties genereren met volledige creatieve controle.