Z-Depth Maps | Animasi seperti Houdini

Pernahkah Anda ingin membuat animasi menakjubkan seperti Houdini tetapi merasa terintimidasi oleh kompleksitas perangkat lunak 3D? Jangan khawatir lagi! Workflow inovatif ComfyUI ini akan membimbing Anda melalui proses menerapkan manipulasi kedalaman (Z-Depth) dan menghasilkan animasi yang memukau menggunakan hanya gambar 2D.

Apakah Anda seorang seniman, desainer, atau penggemar, Anda akan dapat menghasilkan animasi menakjubkan yang terlihat dan terasa seperti dibuat menggunakan teknik 3D canggih, sambil bekerja dengan kesederhanaan dan kemudahan gambar 2D di ComfyUI.

Langkah 1: Membuat Gambar Awal

Untuk memulai, Anda perlu menghasilkan gambar awal yang akan menjadi dasar animasi Anda. Setelah Anda memiliki gambar Anda, perkecil ukurannya menjadi ukuran yang lebih kecil, seperti 1 megapiksel, untuk menjaga ukuran file tetap terkendali.

Langkah 2: Membuat Animasi Mask dari Satu Gambar

Dalam langkah ini, Anda akan mengubah gambar tunggal Anda menjadi animasi mask. Mulailah dengan membuat video dari gambar tunggal Anda dengan mengulanginya untuk jumlah frame yang diinginkan, seperti 32. Untuk mengisolasi subjek Anda, hapus latar belakang menggunakan model penghapusan latar belakang seperti InSPyR-Net. Setelah menghapus latar belakang, sedikit kontraksikan mask yang dihasilkan beberapa piksel untuk memastikan mask bekerja dengan baik dengan proses manipulasi kedalaman.

Selanjutnya, ekstrak informasi kedalaman dari frame tunggal Anda dan hubungkan ke kontrol net depth. Ulangi gambar kedalaman untuk jumlah frame yang sama dengan video Anda. Lewatkan frame kedalaman yang diulang ke node Time Feature dan Flex Mask Depth Chamber. Node Time Feature akan memandu animasi melalui waktu dengan frame rate tetap. Atur waktu efek ke "smooth" dan pilih nilai kecepatan rendah, seperti 0.1.

Fitur waktu akan mengontrol pemotongan subjek Anda sepanjang sumbu kedalaman Z. Sesuaikan posisi awal bidang depan Z dan bidang belakang Z untuk memulai aksi di tengah subjek Anda. Pindahkan kedua bidang menggunakan parameter "feature" dengan gerakan "squeeze" untuk menciptakan efek pemotongan yang diinginkan. Untuk meningkatkan efek difusi diferensial dan memastikan transisi yang lebih mulus, tambahkan sedikit blur menggunakan pengaturan "grow with blur".

Pada akhir langkah ini, Anda akan mengubah gambar tunggal Anda menjadi animasi mask yang siap untuk proses manipulasi kedalaman dan pemotongan. Animasi mask ini akan menjadi dasar untuk menciptakan efek seperti Houdini dalam langkah-langkah berikutnya dari workflow.

Langkah 3: Menghasilkan Animasi

Dalam langkah ini, Anda akan menghidupkan animasi Anda dengan menghasilkan frame menggunakan animasi mask dan informasi kedalaman yang sudah disiapkan. Mulailah dengan memuat checkpoint, seperti checkpoint 1.5 untuk AnimateDiff, bersama dengan LoRAs yang diinginkan untuk meningkatkan kualitas dan gaya frame yang dihasilkan.

Atur langkah conditioning sederhana dengan prompt positif yang menggambarkan bagian dari mask yang dihasilkan yang akan dipotong. Prompt ini akan memandu proses generasi dan membantu menjaga konsistensi sepanjang animasi. Terapkan ControlNet depth berdasarkan kedalaman subjek asli Anda untuk memastikan frame yang dihasilkan mempertahankan karakteristik kedalaman yang diinginkan.

Jika Anda memiliki area yang lebih besar yang perlu di-painting, Anda dapat mengaktifkan grup IP Adapter untuk menangani area tersebut dengan lebih efektif. Lakukan inferensi dengan Differential Diffusion dan atur latent noise mask. Encode 32 frame dari gambar asli Anda dan manipulasi ruang laten dengan noise untuk setiap frame, tetapi hanya di area putih yang sesuai yang telah dipotong.

Untuk lebih meningkatkan kelancaran dan fluiditas animasi Anda, lewati frame yang dihasilkan melalui node RIFE (Real-Time Intermediate Flow Estimation) untuk interpolasi frame. Proses ini akan menggandakan jumlah frame, secara efektif membuat video Anda lebih panjang dan lebih halus. Dengan menginterpolasi antara frame yang dihasilkan, RIFE membantu menciptakan animasi yang lebih mulus dan menarik secara visual.

Pada akhir langkah ini, Anda akan menghasilkan animasi lengkap berdasarkan gambar asli Anda, informasi kedalaman, dan animasi mask.

Langkah 4: Menggabungkan Animasi yang Berbeda (Opsional)

Jika Anda ingin membawa animasi Anda ke tingkat berikutnya, Anda dapat menghasilkan dua animasi yang berbeda, seperti api dan es, menggunakan proses yang sama seperti sebelumnya tetapi dengan prompt yang berbeda dan merekondisi kedalaman. Bagi interval gambar menjadi lima bagian. Ambil 25% pertama dari satu animasi dan 25% terakhir (75% hingga 100%) dari animasi lainnya sebagai titik awal dan akhir. Gabungkan titik tengah (25% hingga 40%, 40% hingga 60%, 60% hingga 75%) dari kedua animasi sehingga hasil gabungan dimulai lebih seperti animasi pertama dan secara bertahap menjadi lebih seperti animasi kedua.