Blender + ComfyUI | AI Rendering 3D Animationer

AI Renderinger af 3D Animationer: Blender + ComfyUI

Denne innovative arbejdsgang, udviklet af den talentfulde Mickmumpitz, kombinerer Blender og ComfyUI for at producere fantastiske 3D-animationer renderet med AI. Vi anbefaler stærkt at tjekke hans YouTube-kanal for mere inspiration.

I det følgende brugte vi forskellige materialer til at reproducere hans tilgang. Her er trinene:

🌟 Download alle vores Blender-materialer til eksperimenter fra dette link.

Del 1: Brug af Blender til at skabe 3D-animationer og render-pass

1. Opsæt en 3D-scene i Blender

• Start med at importere eller modellere de nødvendige 3D-aktiver, såsom karakterer, miljøer og rekvisitter. Arranger disse aktiver inden for scenen, positioner kameraerne og opsæt eventuelle nødvendige animationer. Fjern eksisterende materialer, teksturer og lys, da ComfyUI vil generere disse under renderingsprocessen.

2. Render dybde-pass

• Dybde-pass leverer essentiel afstandsinformation for at forbedre dybdeopfattelsen, som vil blive brugt i ComfyUI.
• I Blender, gå til View Layer Properties, aktiver Z pass, og render billedet. I Compositing-fanen, tilslut en viewer node til dybde-outputtet. Normaliser dybdeværdierne ved hjælp af en Map Range-node for at skabe en sort-hvid gradient, der repræsenterer scenens dybde.

3. Render kontur-pass

• Kontur-pass producerer linjetegningskanter, der definerer objekternes former og silhuetter til brug i ComfyUI.
• I Blender skal du bruge Freestyle-værktøjet til at skabe konturer baseret på 3D-geometrien. Indstil farven til hvid og juster linjetykkelsen. Render billedet og behandl det i Compositing-fanen.

4. Render maske-pass

• Maske-pass tildeler unikke farver til forskellige objekter. Sørg for at notere Hex-koderne for disse farver, da de vil blive brugt til specifikke AI-prompt i ComfyUI.
• I Blender skal du tildele simple emission shaders med forskellige farver til hvert objekt. Render billedet og gem det.

For detaljerede instruktioner om disse trin, se Mickmumpitz's YouTube-tutorial, hvis du ikke er bekendt med Blender.

Efter at have gennemført Del 1, vil du have skabt tre typer billedsekvenser: maske-billeder, dybde-billeder og kontur-billeder. Disse vil blive brugt i det næste trin med ComfyUI.

Del 2: Brug af ComfyUI til at render AI-animationer

Mickmumpitz's ComfyUI-arbejdsgang består af flere nøglekomponenter:

1. Indlæs billedsekvenser

• Indlæs maske-sekvenser: Indlæs maske-sekvensen og brug derefter "regional conditioning by color mask"-noden til at adskille objekterne i maske-billedet. Indtast Hex-koden opnået fra Trin 1 i "mask_color"-feltet. Denne node vil derefter automatisk segmentere objekter baseret på de tildelte farver. 🌟 Bemærk: Vi bruger specifikke Hex-koder til vores materialer i denne arbejdsgang. Hvis du bruger et andet maske-billede, skal du sørge for at indtaste den tilsvarende Hex-kode i "mask_color"-feltet. Dette sikrer, at "regional conditioning by color mask"-noden korrekt segmenterer objekterne.
• Indlæs dybde-sekvenser: Indlæs dybde-sekvenserne for at give information om objekternes afstand i scenen.
• Indlæs kontur-sekvenser: Indlæs kontur-sekvenserne for at definere objekternes former og kanter i scenen.

🌟 Sådan indlæses billedsekvenser efter sti

Organiser dine sekvenser

• Placer dine maske-sekvenser i en mappe, for eksempel {mask}.
• Placer dine dybde-sekvenser i en separat mappe, for eksempel {depth}.
• Placer dine kontur-sekvenser i en anden mappe, for eksempel {outline}.

Upload mapper

• Brug vores filbrowser til at uploade disse mapper til ComfyUI/input-mappen.

Mappesti

• Den fulde stiadresse bør være: /home/user/ComfyUI/input/{folder_name}.
• For eksempel: /home/user/ComfyUI/input/{mask}.

2. Brug tekst-prompt til at definere visuelle effekter

For maske-sekvenser, brug tekst-prompt til at specificere de ønskede visuelle effekter for hvert objekt i scenen.

• Master Prompt: Denne prompt indstiller den overordnede stil og belysning for hele scenen. Den dikterer den generelle stemning, atmosfære og visuelle tone, som den endelige rendering skal opnå.
• Regional Prompts: Disse prompts giver detaljerede beskrivelser for specifikke objekter eller områder inden for scenen. Hver prompt bør svare til et distinkt objekt eller område, hvilket sikrer, at hvert element er nøjagtigt repræsenteret som tiltænkt.
• Negative Prompt: Denne prompt opregner de elementer, der bør udelukkes fra renderingen. Det hjælper med at forhindre visse funktioner eller objekter i at dukke op i det endelige output, hvilket sikrer, at scenen forbliver fokuseret og fri for uønskede detaljer.

3. ControlNet Module

• Input dybde-sekvenserne i ControlNet Depth-modellen.
• Input kontur-sekvenserne i ControlNet Canny-modellen.

4. AnimateDiff Module

• Brug dette modul til at render glatte animationer fra de behandlede sekvenser.

5. Valgfri IPAdapter-brug

• Brug IPAdapter til yderligere conditioning-guidance for at forbedre konsistensen og kvaliteten af de genererede billeder.

Ved at udnytte Blenders præcise 3D-data sammen med de kraftfulde billedsyntesemuligheder i Stable Diffusion via ComfyUI, kan du generere utroligt fotorealistiske eller stiliserede 3D-animationer med fuld kreativ kontrol.