Blender + ComfyUI | AI-rendering av 3D-animasjoner

AI-renderinger av 3D-animasjoner: Blender + ComfyUI

Denne innovative arbeidsflyten, utviklet av den talentfulle Mickmumpitz, kombinerer Blender og ComfyUI for å produsere fantastiske 3D-animasjoner rendret med AI. Vi anbefaler sterkt å sjekke ut hans YouTube-kanal for mer inspirasjon.

I det følgende brukte vi forskjellige materialer for å gjenskape hans tilnærming. Her er trinnene:

🌟 Last ned alle våre Blender-materialer for eksperimenter fra denne lenken.

Del 1: Bruke Blender til å lage 3D-animasjoner og render-pass

1. Sett opp en 3D-scene i Blender

• Start med å importere eller modellere de nødvendige 3D-objektene, som karakterer, miljøer og rekvisitter. Arranger disse objektene i scenen, plasser kameraene, og sett opp eventuelle nødvendige animasjoner. Fjern eksisterende materialer, teksturer og lys, da ComfyUI vil generere disse under renderingsprosessen.

2. Render dybde-pass

• Dybde-passet gir viktig avstandsinformasjon for å forbedre dybdeoppfattelsen, som vil bli brukt i ComfyUI.
• I Blender, gå til View Layer Properties, aktiver Z-passet, og render bildet. I Compositing-fanen, koble en viewer node til dybdeutgangen. Normaliser dybdeverdiene ved å bruke en Map Range-node for å lage en svart-hvitt gradient som representerer scenens dybde.

3. Render kontur-pass

• Kontur-passet produserer linjekunstkanter som definerer formene og silhuettene til objekter for bruk i ComfyUI.
• I Blender, bruk Freestyle-verktøyet til å lage konturer basert på 3D-geometrien. Sett fargen til hvit og juster linjetykkelsen. Render bildet og prosesser det i Compositing-fanen.

4. Render maske-pass

• Maske-passet tildeler unike farger til forskjellige objekter. Sørg for å notere Hex-kodene for disse fargene, da de vil bli brukt til spesifikke AI-prompter i ComfyUI.
• I Blender, tilordne enkle emissjons-shadere med distinkte farger til hvert objekt. Render bildet og lagre det.

For detaljerte instruksjoner om disse trinnene, se Mickmumpitz's YouTube-tutorial hvis du ikke er kjent med Blender.

Etter å ha fullført Del 1, vil du ha opprettet tre typer bildesekvenser: maske-bilder, dybde-bilder og kontur-bilder. Disse vil bli brukt i neste trinn med ComfyUI.

Del 2: Bruke ComfyUI til å rendre AI-animasjoner

Mickmumpitz's ComfyUI-arbeidsflyt består av flere nøkkelkomponenter:

1. Last inn bildesekvenser

• Last inn maske-sekvenser: Last inn maske-sekvensen og bruk deretter "regional conditioning by color mask"-noden for å separere objektene i maske-bildet. Skriv inn Hex-koden fra Trinn 1 i "mask_color"-feltet. Denne noden vil deretter automatisk segmentere objekter basert på de tildelte fargene. 🌟 Merk: Vi bruker spesifikke Hex-koder for våre materialer i denne arbeidsflyten. Hvis du bruker et annet maske-bilde, sørg for å skrive inn den tilsvarende Hex-koden i "mask_color"-feltet. Dette sikrer at "regional conditioning by color mask"-noden korrekt segmenterer objektene.
• Last inn dybde-sekvenser: Last inn dybde-sekvensene for å gi informasjon om avstanden til objektene i scenen.
• Last inn kontur-sekvenser: Last inn kontur-sekvensene for å definere formene og kantene til objektene i scenen.

🌟 Hvordan laste inn bildesekvenser etter sti

Organiser sekvensene dine

• Plasser maske-sekvensene i en mappe, for eksempel {mask}.
• Plasser dybde-sekvensene i en separat mappe, for eksempel {depth}.
• Plasser kontur-sekvensene i en annen mappe, for eksempel {outline}.

Last opp mapper

• Bruk vår filleser for å laste opp disse mappene til ComfyUI/input-katalogen.

Katalogsti

• Den fullstendige katalogstien skal være: /home/user/ComfyUI/input/{folder_name}.
• For eksempel: /home/user/ComfyUI/input/{mask}.

2. Bruk tekst-prompter for å definere visuelle effekter

For maske-sekvenser, bruk tekst-prompter for å spesifisere de ønskede visuelle effektene for hvert objekt i scenen.

• Hovedprompt: Denne prompten setter den overordnede stilen og belysningen for hele scenen. Den dikterer den generelle stemningen, atmosfæren og det visuelle uttrykket som den endelige renderingen skal oppnå.
• Regionale prompt: Disse promptene gir detaljerte beskrivelser for spesifikke objekter eller områder i scenen. Hver prompt skal tilsvare et distinkt objekt eller område, slik at hvert element nøyaktig representeres som tiltenkt.
• Negativ prompt: Denne prompten lister opp elementene som skal utelates fra renderingen. Den hjelper til med å forhindre at visse funksjoner eller objekter vises i det endelige resultatet, og sikrer at scenen forblir fokusert og fri for uønskede detaljer.

3. ControlNet-modul

• Input dybde-sekvensene i ControlNet Depth-modellen.
• Input kontur-sekvensene i ControlNet Canny-modellen.

4. AnimateDiff-modul

• Bruk denne modulen til å rendre jevne animasjoner fra de behandlede sekvensene.

5. Valgfri IPAdapter-bruk

• Bruk IPAdapter for ekstra betingelsesveiledning for å forbedre konsistensen og kvaliteten på de genererte bildene.

Ved å utnytte Blenders presise 3D-data sammen med de kraftige bildesyntesemulighetene til Stable Diffusion via ComfyUI, kan du generere utrolig fotorealistiske eller stiliserte 3D-animasjoner med full kreativ kontroll.