Blender + ComfyUI | AI-rendering av 3D-animationer

AI-renderingar av 3D-animationer: Blender + ComfyUI

Detta innovativa arbetsflöde, utvecklat av den talangfulla Mickmumpitz, kombinerar Blender och ComfyUI för att producera fantastiska 3D-animationer renderade med AI. Vi rekommenderar starkt att du kollar in hans YouTube-kanal för mer inspiration.

I det följande har vi använt olika material för att återge hans tillvägagångssätt. Här är stegen:

🌟 Ladda ner alla våra Blender-material för experiment från denna länk.

Del 1: Använda Blender för att skapa 3D-animationer och renderingspass

1. Ställ in en 3D-scen i Blender

• Börja med att importera eller modellera de nödvändiga 3D-tillgångarna, såsom karaktärer, miljöer och rekvisita. Ordna dessa tillgångar inom scenen, positionera kamerorna och ställ in eventuella nödvändiga animationer. Ta bort befintliga material, texturer och ljus, eftersom ComfyUI kommer att generera dessa under renderingsprocessen.

2. Rendera djup-pass

• Djup-passet ger viktig avståndsinformation för att förbättra djupuppfattningen, vilket kommer att användas i ComfyUI.
• Gå i Blender till View Layer Properties, aktivera Z-passet och rendera bilden. I Compositing-fliken, anslut en viewer-nod till djuputgången. Normalisera djupvärdena med en Map Range-nod för att skapa en svartvit gradient som representerar scenens djup.

3. Rendera kontur-pass

• Kontur-passet producerar linjekonstkanter som definierar objekts former och silhuetter för användning i ComfyUI.
• Använd Freestyle-verktyget i Blender för att skapa konturer baserade på 3D-geometrin. Ställ in färgen till vit och justera linjetjockleken. Rendera bilden och bearbeta den i Compositing-fliken.

4. Rendera mask-pass

• Mask-passet tilldelar unika färger till olika objekt. Se till att notera Hex-koderna för dessa färger, eftersom de kommer att användas för specifika AI-promptar i ComfyUI.
• Tilldela enkla emissionsskuggor med distinkta färger till varje objekt i Blender. Rendera bilden och spara den.

För detaljerade instruktioner om dessa steg, hänvisa till Mickmumpitz's YouTube-tutorial om du är obekant med Blender.

Efter att ha slutfört del 1 kommer du ha skapat tre typer av bildsekvenser: maskbilder, djupbilder och konturbilder. Dessa kommer att användas i nästa steg med ComfyUI.

Del 2: Använda ComfyUI för att rendera AI-animationer

Mickmumpitz's ComfyUI-arbetsflöde består av flera nyckelkomponenter:

1. Ladda bildsekvenser

• Ladda masksekvenser: Ladda masksekvensen och använd sedan "regional conditioning by color mask"-noden för att separera objekten i maskbilden. Ange Hex-koden som erhållits från steg 1 i "mask_color"-fältet. Denna nod kommer sedan automatiskt att segmentera objekt baserat på de tilldelade färgerna. 🌟 Notera: Vi använder specifika Hex-koder för våra material i detta arbetsflöde. Om du använder en annan maskbild, se till att ange motsvarande Hex-kod i "mask_color"-fältet. Detta säkerställer att "regional conditioning by color mask"-noden korrekt segmenterar objekten.
• Ladda djupsekvenser: Ladda djupsekvenserna för att ge information om objekts avstånd i scenen.
• Ladda kontursekvenser: Ladda kontursekvenserna för att definiera objekts former och kanter i scenen.

🌟 Hur man laddar bildsekvenser via sökväg

Organisera dina sekvenser

• Placera dina masksekvenser i en mapp, till exempel {mask}.
• Placera dina djupsekvenser i en separat mapp, till exempel {depth}.
• Placera dina kontursekvenser i en annan mapp, till exempel {outline}.

Ladda upp mappar

• Använd vår filbläddrare för att ladda upp dessa mappar till ComfyUI/input-katalogen.

Katalogsökväg

• Den fullständiga katalogsökvägen bör vara: /home/user/ComfyUI/input/{folder_name}.
• Till exempel: /home/user/ComfyUI/input/{mask}.

2. Använd textpromtar för att definiera visuella effekter

För masksekvenser, använd textpromtar för att specificera de önskade visuella effekterna för varje objekt i scenen.

• Huvudprompt: Denna prompt ställer in den övergripande stilen och belysningen för hela scenen. Den dikterar den allmänna stämningen, atmosfären och den visuella tonen som den slutliga renderingen ska uppnå.
• Regionala promptar: Dessa promptar ger detaljerade beskrivningar för specifika objekt eller områden inom scenen. Varje prompt ska motsvara ett distinkt objekt eller område, vilket säkerställer att varje element är korrekt representerat som avsett.
• Negativ prompt: Denna prompt listar de element som ska exkluderas från renderingen. Den hjälper till att förhindra att vissa funktioner eller objekt visas i den slutliga utmatningen, vilket säkerställer att scenen förblir fokuserad och fri från oönskade detaljer.

3. ControlNet-modul

• Mata in djupsekvenserna i ControlNet Depth-modellen.
• Mata in kontursekvenserna i ControlNet Canny-modellen.

4. AnimateDiff-modul

• Använd denna modul för att rendera mjuka animationer från de bearbetade sekvenserna.

5. Valfri IPAdapter-användning

• Använd IPAdapter för ytterligare konditioneringsvägledning för att förbättra konsistensen och kvaliteten på de genererade bilderna.

Genom att utnyttja Blenders precisa 3D-data tillsammans med de kraftfulla bildsyntesfunktionerna i Stable Diffusion via ComfyUI kan du generera otroligt fotorealistiska eller stiliserade 3D-animationer med full kreativ kontroll.