IPAdapter V1 + AnimateDiff + ControlNet | Seni Gerak

1. Alur Kerja Jellyfish Ballerina

Alur kerja ini menciptakan animasi memukau dari seorang balerina yang menari dengan anggun, meniru gerakan ubur-ubur di bawah air. Dikembangkan oleh Matt3o, proyek yang memikat ini dipamerkan di YouTube, memberikan banyak inspirasi.

Kami menguraikan komponen penting dari alur kerja ini agar mudah dipahami. Selain itu, Anda akan melihat bagaimana Anda dapat menerapkan metode ini untuk membuat berbagai karya seni animasi, memperluas cakupan kreatif Anda.

2. Mempersiapkan Input

Materi input termasuk video seorang balerina dan foto ubur-ubur sebagai titik awal. Tujuannya adalah menciptakan animasi di mana gerakan balerina mencerminkan gerakan ubur-ubur yang meluncur di air.

3. IPAdapter: Menerapkan Tiga IPAdapter

Alur kerja ini menggabungkan tiga IPAdapter yang berbeda, masing-masing dengan peran unik.

Pertama, penting untuk memahami bahwa IPAdapter memainkan peran signifikan dalam memperbaiki dan meningkatkan animasi. Mereka menambahkan kedalaman, detail, dan stabilitas. Namun, keterbatasan yang mencolok adalah kebutuhan mereka akan gambar input yang berbentuk persegi (misalnya, 224x224 piksel). Keterbatasan ini tidak sejalan dengan semua jenis konten video, terutama yang dalam format potret atau lanskap.

Untuk mengatasi hal ini, alur kerja menggunakan dua IPAdapter untuk Bagian Atas dan Bawah Tubuh balerina. Strategi ini mengatasi keterbatasan ukuran input dengan memungkinkan pengubahan ukuran independen dari setiap bagian tubuh menjadi format persegi, mempertahankan detail dan proporsi.

IPAdapter Pertama: Menstabilkan Gerakan Bagian Atas Tubuh dan Kepala IPAdapter awal didedikasikan untuk memperbaiki animasi bagian atas tubuh dan kepala balerina, memastikan mereka diekspresikan dengan jelas dan anggun.

IPAdapter Kedua: Memperbaiki Gerakan Bagian Bawah Tubuh IPAdapter kedua berfokus pada bagian bawah tubuh balerina, termasuk kaki, meningkatkan kelancaran dan keanggunan untuk menyesuaikan dengan gerakan bagian atas tubuh.

IPAdapter Ketiga: Mengintegrasikan Elemen Ubur-ubur IPAdapter terakhir memperkenalkan motif ubur-ubur, bertindak sebagai jangkar tematik untuk seluruh animasi. Ini menggunakan gambar ubur-ubur untuk memberikan animasi dengan kualitas yang ethereal dan mengalir, menggabungkannya dengan mulus dengan tarian balerina.

4. Masker: Menghilangkan Latar Belakang

Detail penting dalam pembuatan karya seni ini adalah menangani potensi gangguan dari latar belakang tarian asli balerina. Untuk mengatasi ini, masker dibuat untuk mengisolasi balerina dari sisa video. Preprocessor segmentasi canggih digunakan, yang secara efektif mengisolasi penari, memastikan animasi yang lebih fokus dan tepat.

5. ControlNet: Memastikan Akurasi Pose

Mendapatkan pose balerina dengan tepat adalah hal yang krusial. Di sinilah ControlNet berperan, meniru gerakan penari dengan presisi untuk menjaga animasi sesuai dengan koreografi yang dimaksudkan. Ini sangat penting dalam menangkap esensi gerakan penari, memastikan setiap frame mencerminkan keanggunan dan ketepatan dari balerina yang sebenarnya.

6. AnimateDiff: Memastikan Kelancaran

Dalam proyek Jellyfish Ballerina, AnimateDiff sangat penting untuk membuat transisi yang mulus antara frame, mencerminkan aliran tanpa batas dari gerakan ubur-ubur. Ini memainkan peran vital dalam memastikan kelancaran animasi, membuat setiap gerakan menyatu dengan lancar ke gerakan berikutnya dan menangkap esensi keanggunan dalam gerakan.

Memanfaatkan komponen-komponen yang diuraikan di atas akan memungkinkan Anda untuk menciptakan kembali tarian memukau seorang balerina sebagai ubur-ubur. Bereksperimen dengan video input yang berbeda dan gambar referensi akan lebih membuka kemungkinan kreatif dalam pembuatan seni gerak!