Blender + ComfyUI | AI Rendering Animasi 3D

AI Renderings dari Animasi 3D: Blender + ComfyUI

Alur kerja inovatif ini, yang dikembangkan oleh Mickmumpitz, menggabungkan Blender dan ComfyUI untuk menghasilkan animasi 3D yang menakjubkan dengan rendering AI. Kami sangat merekomendasikan mengunjungi saluran YouTube-nya untuk inspirasi lebih lanjut.

Dalam contoh berikut, kami menggunakan berbagai materi untuk mereproduksi pendekatannya. Berikut adalah langkah-langkahnya:

🌟 Unduh semua materi Blender kami untuk eksperimen dari tautan ini.

Bagian 1: Menggunakan Blender untuk Membuat Animasi 3D dan Render Passes

1. Mengatur Adegan 3D di Blender

• Mulailah dengan mengimpor atau memodelkan aset 3D yang diperlukan, seperti karakter, lingkungan, dan properti. Atur aset-aset ini dalam adegan, posisikan kamera, dan atur animasi yang diperlukan. Hapus material, tekstur, dan pencahayaan yang ada, karena ComfyUI akan menghasilkan ini selama proses rendering.

2. Render Depth Pass

• Depth pass memberikan informasi jarak yang penting untuk meningkatkan persepsi kedalaman, yang akan digunakan di ComfyUI.
• Di Blender, pergi ke View Layer Properties, aktifkan Z pass, dan render gambar. Di tab Compositing, hubungkan node viewer ke output depth. Normalisasi nilai depth menggunakan node Map Range untuk membuat gradasi hitam-putih yang mewakili kedalaman adegan.

3. Render Outline Pass

• Outline pass menghasilkan tepi garis seni yang mendefinisikan bentuk dan siluet objek untuk digunakan di ComfyUI.
• Di Blender, gunakan alat Freestyle untuk membuat outline berdasarkan geometri 3D. Atur warna menjadi putih dan sesuaikan ketebalan garis. Render gambar dan proses di tab Compositing.

4. Render Mask Pass

• Mask pass memberikan warna unik untuk setiap objek. Pastikan untuk mencatat Kode Hex untuk warna-warna ini, karena akan digunakan untuk prompt AI spesifik di ComfyUI.
• Di Blender, berikan shader emisi sederhana dengan warna berbeda untuk setiap objek. Render gambar dan simpan.

Untuk instruksi lebih rinci tentang langkah-langkah ini, lihat tutorial YouTube Mickmumpitz jika Anda tidak terbiasa dengan Blender.

Setelah menyelesaikan Bagian 1, Anda akan membuat tiga jenis urutan gambar: gambar mask, gambar depth, dan gambar outline. Ini akan digunakan pada langkah berikutnya dengan ComfyUI.

Bagian 2: Menggunakan ComfyUI untuk Merender Animasi AI

Alur kerja ComfyUI Mickmumpitz terdiri dari beberapa komponen kunci:

1. Memuat Urutan Gambar

• Memuat Urutan Mask: Muat urutan mask dan kemudian gunakan node "regional conditioning by color mask" untuk memisahkan objek dalam gambar mask. Masukkan Kode Hex yang diperoleh dari Langkah 1 ke dalam field "mask_color". Node ini kemudian akan secara otomatis memisahkan objek berdasarkan warna yang diberikan. 🌟 Catatan: Kami menggunakan Kode Hex spesifik untuk materi kami dalam alur kerja ini. Jika Anda menggunakan gambar mask yang berbeda, pastikan untuk memasukkan Kode Hex yang sesuai di field "mask_color". Ini memastikan node "regional conditioning by color mask" dengan benar memisahkan objek.
• Memuat Urutan Depth: Muat urutan depth untuk memberikan informasi tentang jarak objek dalam adegan.
• Memuat Urutan Outline: Muat urutan outline untuk mendefinisikan bentuk dan tepi objek dalam adegan.

🌟 Cara Memuat Urutan Gambar dengan Path

Mengatur Urutan Anda

• Letakkan urutan mask Anda di folder, misalnya, {mask}.
• Letakkan urutan depth Anda di folder terpisah, misalnya, {depth}.
• Letakkan urutan outline Anda di folder lain, misalnya, {outline}.

Unggah Folder

• Gunakan file browser kami untuk mengunggah folder-folder ini ke direktori ComfyUI/input.

Path Direktori

• Path direktori penuh harus: /home/user/ComfyUI/input/{folder_name}.
• Misalnya: /home/user/ComfyUI/input/{mask}.

2. Gunakan Text Prompts untuk Mendefinisikan Efek Visual

Untuk Urutan Mask, gunakan text prompts untuk menentukan efek visual yang diinginkan untuk setiap objek dalam adegan.

• Master Prompt: Prompt ini menetapkan gaya dan pencahayaan keseluruhan untuk seluruh adegan. Ini menentukan suasana umum, atmosfer, dan nada visual yang harus dicapai oleh rendering akhir.
• Regional Prompts: Prompt ini memberikan deskripsi terperinci untuk objek atau area tertentu dalam adegan. Setiap prompt harus sesuai dengan objek atau wilayah yang berbeda, memastikan bahwa setiap elemen diwakili dengan akurat seperti yang dimaksudkan.
• Negative Prompt: Prompt ini mencantumkan elemen-elemen yang harus dikecualikan dari rendering. Ini membantu mencegah fitur atau objek tertentu muncul dalam output akhir, memastikan adegan tetap fokus dan bebas dari detail yang tidak diinginkan.

3. Modul ControlNet

• Masukkan urutan depth ke model ControlNet Depth.
• Masukkan urutan outline ke model ControlNet Canny.

4. Modul AnimateDiff

• Gunakan modul ini untuk merender animasi yang halus dari urutan yang diproses.

5. Penggunaan IPAdapter Opsional

• Gunakan IPAdapter untuk panduan conditioning tambahan untuk meningkatkan konsistensi dan kualitas gambar yang dihasilkan.

Dengan memanfaatkan data 3D yang tepat dari Blender bersama dengan kemampuan sintesis gambar yang kuat dari Stable Diffusion melalui ComfyUI, Anda dapat menghasilkan animasi 3D yang sangat fotorealistik atau bergaya dengan kontrol kreatif penuh.