Alur Kerja/Tutorial AnimateDiff ComfyUI - Animasi Stable Diffusion

Hai! Pernahkah Anda kagum dengan ide mengubah teks menjadi video? Ini bukan hal baru, tetapi semakin menarik setiap saat. Hari ini, mari kita bahas salah satu alat keren ini, AnimateDiff di lingkungan ComfyUI. Apakah Anda seorang seniman digital atau hanya suka menjelajahi teknologi baru, AnimateDiff menawarkan cara menarik untuk mengubah ide teks Anda menjadi GIF dan video animasi.

Kami akan membahas:

1. Bagaimana cara kerja AnimateDiff?
2. Alur Kerja AnimateDiff ComfyUI - Tidak Perlu Instalasi, Sepenuhnya Gratis
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Modul Gerakan Baru di Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. Pengaturan AnimateDiff: Cara Menggunakan AnimateDiff di ComfyUI
   • Model AnimateDiff
   • Model CheckPoint untuk AnimateDiff
   • Jadwal Beta
   • Skala Gerakan
   • Ukuran Batch Konteks Menentukan Panjang Animasi
   • Panjang Konteks
   • Motion LoRA untuk Dinamika Kamera (Hanya AnimateDiff v2)
5. Prompt AnimateDiff
6. Perjalanan Prompt AnimateDiff / Penjadwalan Prompt
7. Perbaikan Hires ComfyUI - Meningkatkan Animasi Anda
8. Alur Kerja AnimateDiff ComfyUI Siap Pakai: Menjelajahi Animasi Stable Diffusion

1. Bagaimana cara kerja AnimateDiff?

Inti dari AnimateDiff adalah modul pemodelan gerakan. Anggap saja sebagai otak operasi, belajar tentang gerakan dari berbagai klip video. Ini seperti memiliki guru tari yang tahu setiap gerakan dalam buku. Modul ini terintegrasi mulus ke dalam model teks-ke-gambar yang sudah dilatih sebelumnya. Jadi, Anda tidak hanya terbatas pada gambar statis lagi – kreasi Anda bisa menari, melompat, dan berputar!

2. Alur Kerja AnimateDiff ComfyUI - Tidak Perlu Instalasi, Sepenuhnya Gratis

Lihat video di atas yang dibuat menggunakan alur kerja AnimateDiff ComfyUI. Sekarang, Anda dapat langsung menyelami Alur Kerja Animatediff ini tanpa repot instalasi. Kami telah menyiapkan semuanya untuk Anda di ComfyUI berbasis cloud, lengkap dengan alur kerja AnimateDiff dan semua model serta node khusus penting dari Animatediff V3, Animatediff SDXL, dan Animatediff V2.

Jangan ragu untuk bereksperimen dan bermain-main dengannya. Atau Anda bisa melanjutkan membaca tutorial ini tentang cara menggunakan AnimateDiff dan mencobanya nanti.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Mari kita berjalan-jalan melalui berbagai versi AnimateDiff. Setiap versi memiliki daya tariknya sendiri, jadi bersiaplah untuk tur singkat!

3.1. AnimateDiff V3: Modul Gerakan Baru di Animatediff

AnimateDiff V3 bukan hanya versi baru, ini adalah evolusi dalam teknologi modul gerakan, yang menonjol dengan fitur-fiturnya yang disempurnakan. Modul gerakan v3_sd15_mm.ckpt adalah inti dari versi ini, bertanggung jawab atas animasi yang halus dan fleksibel.

mari kita bahas keajaiban teknologinya. Pemain bintang di sini adalah modul Domain Adapter LoRA, yang pada dasarnya adalah primer untuk modul gerakan. Dengan pelatihan pada frame statis dari dataset video, modul LoRA ini membekali AnimateDiff untuk lebih mahir menangani gerakan. Cukup keren, bukan?

Saat menggunakan AnimateDiff V3, Anda akan melihat bahwa itu tidak selalu melebihi Animatediff V2 dalam setiap aspek. Sebaliknya, ini menawarkan jenis gerakan yang berbeda, menambahkan lebih banyak alat ke dalam arsenal kreatif Anda.

Positive Prompt：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Jika Anda menyukai video resolusi tinggi, AnimateDiff SDXL mungkin menjadi pilihan. Menggunakan modul gerakan mm_sdxl_v10_beta.ckpt, ini dirancang untuk membuat animasi resolusi 1024x1024 dengan 16 frame. Hanya sekadar pemberitahuan, ini masih dalam Beta, jadi mungkin bijaksana untuk menunggu sedikit sebelum mencobanya.

Gunakan Positive Prompt dan Negative Prompt yang sama dengan AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 adalah yang klasik! Dengan mm_sd_v15_v2.ckpt, versi ini menawarkan MotionLoRA untuk delapan gerakan kamera penting: Zoom In/Out, Pan Left/Right, Tilt Up/Down, dan Rolling Clockwise/Anticlockwise. Animatediff V2 sempurna jika Anda mencari gerakan kamera dinamis untuk menambah drama pada animasi Anda.

Gunakan Positive Prompt dan Negative Prompt yang sama dengan AnimateDiff V3

CheckPoint: toonyou_beta6

4. Pengaturan AnimateDiff: Cara Menggunakan AnimateDiff di ComfyUI

Setelah Anda masuk ke alur kerja AnimateDiff dalam ComfyUI, Anda akan menemukan grup berlabel "AnimateDiff Options" seperti yang ditunjukkan di bawah ini. Area ini berisi pengaturan dan fitur yang mungkin Anda gunakan saat bekerja dengan AnimateDiff.

4.1. Model AnimateDiff

Pertama-tama, pilih modul gerakan AnimateDiff yang ingin Anda coba di dropdown model_name:

• v3_sd15_mm.ckpt untuk AnimateDiff V3
• mm_sdxl_v10_beta.ckpt untuk AnimateDiff SDXL
• mm_sd_v15_v2.ckpt untuk AnimateDiff V2

4.2. Model CheckPoint untuk AnimateDiff

AnimateDiff membutuhkan model checkpoint Stable Diffusion.

Untuk AnimateDiff V2 dan V3, Anda harus menggunakan model SD v1.5. Model seperti realisticVisionV60B1_V51VAE , toonyou_beta6 dan cardos_Animev2.0 adalah pilihan utama.

Jika Anda cenderung ke AnimateDiff SDXL, pilih model SDXL, seperti sd_xl_base_1.0 atau dreamshaperXL10_alpha2Xl10.

Di lingkungan cloud RunComfy, semua modul gerakan dan model checkpoint sudah terinstal untuk kenyamanan Anda.

4.3. Jadwal Beta

Jadwal Beta di AnimateDiff menentukan perilaku proses pengurangan noise selama pembuatan animasi.

Untuk AnimateDiff V3 dan V2, pengaturan sqrt_linear umumnya yang terbaik, tetapi jangan ragu untuk mencoba linear untuk beberapa efek menarik.

Untuk AnimateDiff XL, tetap gunakan linear (AnimateDiff-SDXL).

4.4. Skala Gerakan

Skala Gerakan di AnimateDiff memungkinkan Anda mengontrol intensitas gerakan. Di bawah 1 berarti gerakan lebih halus; di atas 1 berarti gerakan lebih menonjol.

4.5. Ukuran Batch Konteks Menentukan Panjang Animasi

Ukuran Batch dalam AnimateDiff mewakili blok bangunan animasi Anda. Ini berfungsi sebagai faktor dasar yang mempengaruhi panjang animasi Anda. Ini menentukan jumlah "adegan" atau segmen yang akan terdiri dari animasi Anda.

Ukuran Batch yang lebih besar menghasilkan lebih banyak adegan dalam animasi Anda, memungkinkan pengalaman bercerita yang lebih panjang dan lebih rumit. Tidak ada batas atas untuk Ukuran Batch, jadi Anda bebas membuat animasi sepanjang atau sesingkat yang Anda inginkan. Ukuran Batch default adalah 16.

• 16 Ukuran Batch = Video cepat 2 detik
• 32 Ukuran Batch = Klip singkat 4 detik
• 64 Ukuran Batch = Fitur lebih panjang 8 detik

4.6. Panjang Konteks

Panjang Konteks Seragam dalam AnimateDiff memainkan peran penting dalam memastikan transisi yang mulus antara adegan yang ditetapkan oleh Ukuran Batch Anda. Ini seperti memiliki editor yang mahir yang tahu persis bagaimana menjahit adegan bersama untuk aliran yang paling alami.

Panjang yang Anda tetapkan untuk Konteks Seragam akan menentukan sifat transisi antara adegan. Panjang Konteks Seragam yang lebih panjang menghasilkan transisi yang lebih halus dan lebih bertahap, membuat pergeseran dari satu adegan ke adegan lain hampir tidak terlihat. Di sisi lain, panjang yang lebih pendek akan membuat transisi lebih cepat dan lebih terlihat, yang mungkin ideal untuk efek bercerita tertentu. Panjang Konteks Seragam default adalah 16.

4.7. Motion LoRA untuk Dinamika Kamera (Hanya AnimateDiff v2)

Motion LoRAs hanya kompatibel dengan AnimateDiff v2. Tambahan canggih ini membawa lapisan dinamis gerakan kamera ke animasi Anda. Saat menggunakan Motion LoRAs, penting untuk menemukan keseimbangan yang tepat dengan bobot LoRA. Menetapkannya sekitar 0.75 cenderung mencapai titik manis, memberikan gerakan kamera yang halus tanpa artefak latar belakang yang mengganggu.

Selain itu, Anda memiliki kebebasan kreatif untuk menggabungkan beberapa Motion LoRAs. Dengan menggabungkan model Motion LoRA yang berbeda secara strategis, Anda dapat mengatur gerakan kamera yang kompleks, bereksperimen, dan menemukan perpaduan gerakan yang sempurna untuk visi animasi unik Anda, sehingga meningkatkan animasi Anda menjadi sebuah mahakarya sinematik.

Berikut adalah contoh penggunaan fitur "Pan Left" dan "Zoom In" Motion LoRa bersama.

5. Prompt AnimateDiff

Baiklah, sekarang setelah Anda memiliki model dan pengaturan AnimateDiff yang disesuaikan, saatnya untuk tampil! Di sinilah Anda mengubah teks Anda menjadi animasi video.

Berikut contoh prompt positif dan prompt negatif:

Positive Prompt：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. Perjalanan Prompt AnimateDiff / Penjadwalan Prompt

Tapi tunggu, masih ada lagi! Sudahkah Anda mencoba Perjalanan Prompt / Penjadwalan Prompt? Anggap saja sebagai menjadi sutradara film. Anda mengendalikan, membuat cerita Anda adegan demi adegan. Ini seperti menyusun puzzle di mana setiap potongan adalah momen dalam cerita Anda.

Bagaimana Cara Kerja Perjalanan Prompt?

Bayangkan Anda membuat mini-film. Anda menetapkan Prompt 1 di Frame 1 dan Prompt 2 di Frame 8, dan seterusnya. AnimateDiff akan menggabungkan prompt ini dengan mulus, menciptakan transisi yang lancar dari Frame 1 ke Frame 8.

Tip: Meskipun Perjalanan Prompt dapat menarik, penting untuk dicatat bahwa itu tidak selalu berhasil. Efektivitas Perjalanan Prompt juga tergantung pada model checkpoint yang Anda pilih. Misalnya, model cardos_Animev2.0 kompatibel dengan Perjalanan Prompt, tetapi ini tidak berlaku untuk semua model. Selain itu, hasilnya bisa tidak terduga - beberapa prompt mungkin tidak bercampur dengan baik, menghasilkan transisi yang kurang ideal. Ini membuat Perjalanan Prompt lebih sebagai fitur eksperimental daripada alat yang dijamin untuk animasi yang mulus.

Kami telah menempatkan node "Prompt Travel / Prompt Scheduling" di akhir alur kerja AnimateDiff ComfyUI. Jika Anda penasaran untuk bereksperimen, Anda harus menggunakan "Prompt Travel" sebagai pengganti opsi "Prompt" biasa.

7. ComfyUI Hires Fix - Enhancing Your Animations

Dengan menggunakan AnimateDiff bersama dengan perbaikan Hi-Res, Anda dapat meningkatkan resolusi gambar Anda. Proses ini mengubah gambar yang sedikit buram menjadi mahakarya yang sangat jelas. Dalam bagian ini, kami akan memperkenalkan dua metode.

7.1. Latent Upscale

Upscaling laten tradisional di ComfyUI. Dengan menerapkan pengaturan seperti kekuatan denoising 0.6 dan memilih 1.5x upscale, Anda akan melihat animasi Anda berubah dengan detail yang lebih kaya dan kejelasan yang lebih tajam. Ini seperti memakai kacamata dan tiba-tiba melihat dunia dalam definisi tinggi!

7.2. ControlNet Upscale

Upscaling laten tradisional sudah keren, tetapi mari kita tingkatkan dengan Control Net Assisted Latent Upscale. Ini menggunakan ControlNets untuk upscale yang lebih presisi, memastikan animasi Anda tetap utuh. Dengan penambahan preprocessor lineart dan model controlnet yang tepat, Anda akan meningkatkan seni Anda sambil menjaga intinya tetap utuh.

8. Alur Kerja AnimateDiff ComfyUI Siap Pakai: Menjelajahi Animasi Stable Diffusion

Kami telah menjelajahi dunia menarik dari AnimateDiff di ComfyUI. Bagi mereka yang ingin bereksperimen dengan Alur Kerja AnimateDiff ComfyUI yang telah kami soroti, pastikan untuk mencoba RunComfy, lingkungan cloud yang dilengkapi dengan GPU yang kuat dan sepenuhnya siap, termasuk semua model penting hingga node khusus. Tidak perlu pengaturan manual! Hanya taman bermain untuk melepaskan kreativitas Anda. 🌟

Penulis: Editor RunComfy

Tim editor kami telah bekerja dengan AI selama lebih dari 15 tahun, dimulai dengan NLP/Vision di era RNN/CNN. Kami telah mengumpulkan banyak pengalaman dalam AI Chatbot/Art/Animation, seperti BERT/GAN/Transformer, dll. Bicaralah dengan kami jika Anda membutuhkan bantuan dalam seni AI, animasi, dan video.