Blender + ComfyUI | AI Rendering di Animazioni 3D

AI Renderings di Animazioni 3D: Blender + ComfyUI

Questo flusso di lavoro innovativo, sviluppato dal talentuoso Mickmumpitz, combina Blender e ComfyUI per produrre straordinarie animazioni 3D renderizzate con AI. Consigliamo vivamente di dare un'occhiata al suo canale YouTube per ulteriori ispirazioni.

Di seguito, abbiamo utilizzato diversi materiali per riprodurre il suo approccio. Ecco i passaggi:

🌟 Scarica tutti i nostri materiali Blender per esperimenti da questo link.

Parte 1: Utilizzo di Blender per Creare Animazioni 3D e Pass di Rendering

1. Configura una Scena 3D in Blender

• Inizia importando o modellando gli asset 3D necessari, come personaggi, ambienti e oggetti di scena. Disporre questi asset all'interno della scena, posizionare le telecamere e configurare eventuali animazioni necessarie. Rimuovi materiali, texture e luci esistenti, poiché ComfyUI genererà questi durante il processo di rendering.

2. Render Pass di Profondità

• Il pass di profondità fornisce informazioni essenziali sulla distanza per migliorare la percezione della profondità, che verrà utilizzata in ComfyUI.
• In Blender, vai a Proprietà del Livello di Vista, attiva il pass Z e rendi l'immagine. Nella scheda Compositing, collega un nodo viewer all'output di profondità. Normalizza i valori di profondità utilizzando un nodo Map Range per creare un gradiente in bianco e nero che rappresenta la profondità della scena.

3. Render Pass di Contorno

• Il pass di contorno produce bordi di line art che definiscono le forme e le silhouette degli oggetti per l'uso in ComfyUI.
• In Blender, usa lo strumento Freestyle per creare contorni basati sulla geometria 3D. Imposta il colore su bianco e regola lo spessore della linea. Rendi l'immagine e processala nella scheda Compositing.

4. Render Pass di Maschera

• Il pass di maschera assegna colori unici a diversi oggetti. Assicurati di annotare i codici Hex per questi colori, poiché verranno utilizzati per specifici prompt AI in ComfyUI.
• In Blender, assegna semplici shader di emissione con colori distinti a ciascun oggetto. Rendi l'immagine e salvala.

Per istruzioni dettagliate su questi passaggi, fai riferimento al tutorial su YouTube di Mickmumpitz se non hai familiarità con Blender.

Dopo aver completato la Parte 1, avrai creato tre tipi di sequenze di immagini: immagini di maschera, immagini di profondità e immagini di contorno. Questi verranno utilizzati nel passaggio successivo con ComfyUI.

Parte 2: Utilizzo di ComfyUI per Renderizzare Animazioni AI

Il flusso di lavoro di ComfyUI di Mickmumpitz consiste in diversi componenti chiave:

1. Carica Sequenze di Immagini

• Carica Sequenze di Maschere: Carica la sequenza di maschere e poi usa il nodo "regional conditioning by color mask" per separare gli oggetti nell'immagine della maschera. Inserisci il codice Hex ottenuto dal Passaggio 1 nel campo "mask_color". Questo nodo segmenterà automaticamente gli oggetti in base ai colori assegnati. 🌟 Nota: Usiamo codici Hex specifici per i nostri materiali in questo flusso di lavoro. Se usi un'immagine di maschera diversa, assicurati di inserire il corrispondente codice Hex nel campo "mask_color". Questo garantisce che il nodo "regional conditioning by color mask" segmenti correttamente gli oggetti.
• Carica Sequenze di Profondità: Carica le sequenze di profondità per fornire informazioni sulla distanza degli oggetti nella scena.
• Carica Sequenze di Contorno: Carica le sequenze di contorno per definire le forme e i bordi degli oggetti nella scena.

🌟 Come Caricare Sequenze di Immagini per Percorso

Organizza le Tue Sequenze

• Metti le tue sequenze di maschere in una cartella, ad esempio, {mask}.
• Metti le tue sequenze di profondità in una cartella separata, ad esempio, {depth}.
• Metti le tue sequenze di contorno in un'altra cartella, ad esempio, {outline}.

Carica Cartelle

• Usa il nostro browser di file per caricare queste cartelle nella directory ComfyUI/input.

Percorso della Directory

• Il percorso completo della directory dovrebbe essere: /home/user/ComfyUI/input/{folder_name}.
• Ad esempio: /home/user/ComfyUI/input/{mask}.

2. Usa Prompt Testuali per Definire Effetti Visivi

Per Sequenze di Maschere, usa prompt testuali per specificare gli effetti visivi desiderati per ogni oggetto nella scena.

• Master Prompt: Questo prompt imposta lo stile generale e l'illuminazione per l'intera scena. Dittica l'umore generale, l'atmosfera e il tono visivo che il rendering finale dovrebbe raggiungere.
• Regional Prompts: Questi prompt forniscono descrizioni dettagliate per specifici oggetti o aree all'interno della scena. Ogni prompt dovrebbe corrispondere a un oggetto o regione distinto, assicurando che ogni elemento sia rappresentato accuratamente come previsto.
• Negative Prompt: Questo prompt elenca gli elementi che dovrebbero essere esclusi dal rendering. Aiuta a prevenire la comparsa di determinate caratteristiche o oggetti nel risultato finale, assicurando che la scena rimanga focalizzata e priva di dettagli indesiderati.

3. Modulo ControlNet

• Inserisci le sequenze di profondità nel modello ControlNet Depth.
• Inserisci le sequenze di contorno nel modello ControlNet Canny.

4. Modulo AnimateDiff

• Usa questo modulo per rendere animazioni fluide dalle sequenze elaborate.

5. Uso Opzionale di IPAdapter

• Usa l'IPAdapter per ulteriori linee guida di condizionamento per migliorare la coerenza e la qualità delle immagini generate.

Sfruttando i dati 3D precisi di Blender insieme alle potenti capacità di sintesi delle immagini di Stable Diffusion tramite ComfyUI, puoi generare animazioni 3D incredibilmente fotorealistiche o stilizzate con pieno controllo creativo.