AnimateLCM | Percepat Teks ke Video

1. ComfyUI AnimateLCM Workflow

Workflow ComfyUI AnimateLCM dirancang untuk meningkatkan kecepatan animasi AI. Dibangun di atas fondasi ComfyUI-AnimateDiff-Evolved, workflow ini mengintegrasikan AnimateLCM untuk secara khusus mempercepat pembuatan animasi teks-ke-video (t2v). Anda dapat bereksperimen dengan berbagai prompt dan langkah untuk mencapai hasil yang diinginkan.

2. Ikhtisar AnimateLCM

Kemunculan teknologi seperti SDXL, LCM, dan SDXL Turbo telah secara signifikan meningkatkan kecepatan pembuatan gambar. AnimateLCM lebih mendorong kemajuan dalam animasi AI. Ini mendukung pembuatan gambar-ke-video yang cepat dan bertujuan untuk meningkatkan kecepatan dan efisiensi dalam menghasilkan video animasi dari gambar statis atau deskripsi teks, membuatnya sangat berguna untuk menciptakan efek animasi personal dengan cepat.

2.1. Pengenalan AnimateLCM

AnimateLCM dirancang untuk mempercepat animasi model difusi personal dan adapter melalui pembelajaran konsistensi terpisah. Ini terinspirasi oleh Consistency Model (CM), yang menyuling model difusi gambar pra-latihan untuk mempercepat proses sampling, dan ekstensinya, Latent Consistency Model (LCM), yang berfokus pada pembuatan gambar bersyarat. AnimateLCM memanfaatkan fondasi ini untuk memungkinkan pembuatan video dengan fidelitas tinggi dalam beberapa langkah, membangun kesuksesan teknik difusi dan pembuatan gambar untuk memperluas kemampuannya ke domain video.

2.2. Cara menggunakan AnimateLCM dalam Workflow ComfyUI Anda

Workflow ini dibangun di atas ComfyUI-AnimateDiff-Evolved Workflow. Berikut adalah parameter konfigurasi dalam node "Use Evolved Sampling".

Models: Setel model checkpoint dan model LoRA.

• Checkpoint: Ini berkaitan dengan input model StableDiffusion (SD) yang digunakan untuk pembuatan animasi. Tergantung pada model gerak yang dipilih, kompatibilitas dapat bervariasi di antara versi SD, seperti SD1.5 atau SDXL.
• LoRA: Mengintegrasikan model AnimateLCM LoRA untuk secara mulus mengintegrasikan adapter yang ada untuk berbagai fungsi, meningkatkan efisiensi dan kualitas output dengan fokus pada pembelajaran konsistensi tanpa mengorbankan kecepatan sampling.

Motion Models (M Models): Ini adalah output dari proses Apply AnimateDiff Model, memungkinkan penggunaan AnimateLCM Motion Model.

Context Options: Pengaturan ini menyesuaikan operasi AnimateDiff selama produksi animasi, memungkinkan animasi dengan panjang berapa pun melalui jendela konteks geser di seluruh Unet atau dalam modul gerak secara khusus. Mereka juga memungkinkan penyesuaian waktu untuk urutan animasi yang kompleks. Lihat di sini untuk panduan lengkap tentang AnimateDiff

Beta Schedule in Sample Settings: Pilih LCM. Dalam Sample Settings AnimateDiff di ComfyUI, pemilihan "beta schedule", termasuk opsi seperti "lcm," "lineart," dll., Menyempurnakan nilai beta yang mengatur tingkat kebisingan selama proses difusi. Kustomisasi ini memengaruhi gaya visual dan kelancaran animasi. Setiap pengaturan memenuhi kebutuhan model animasi atau gerak tertentu.

• LCM (Latent Consistency Module): Pengaturan "lcm" disesuaikan untuk LCM LoRAs, meningkatkan keseragaman animasi dan mengurangi waktu pembuatan. Ini mencapai konvergensi lebih cepat dengan langkah lebih sedikit, membutuhkan pengurangan langkah (hingga minimal ~4 langkah) dan penyesuaian parameter lainnya untuk retensi detail optimal.
• Linear (AnimateDiff-SDXL): Direkomendasikan untuk AnimateDiff dengan modul gerak SDXL, opsi ini mencapai keseimbangan antara pelestarian detail dan gerakan halus, menunjukkan kompatibilitas dengan versi model gerak tertentu.
• Sqrt_lineart (AnimateDiff): Mirip dengan "lineart," varian ini dirancang untuk proses AnimateDiff, terutama dengan modul gerak V2, memodifikasi tingkat kebisingan untuk melengkapi output model gerak untuk transisi atau gerakan yang lebih halus.