SVD (Stable Video Diffusion) + SD | Teks ke Video

1. ComfyUI Stable Video Diffusion (SVD) Workflow

Workflow ComfyUI mengintegrasikan teknologi teks-ke-gambar (Stable Diffusion) dan gambar-ke-video (Stable Video Diffusion) untuk konversi teks-ke-video yang efisien. Workflow ini memungkinkan Anda untuk membuat video langsung dari deskripsi teks, dimulai dengan gambar dasar yang berkembang menjadi urutan video dinamis. Workflow ini memfasilitasi realisasi animasi atau video teks-ke-video.

2. Ikhtisar Stable Video Diffusion (SVD)

2.1. Pengenalan Stable Video Diffusion (SVD)

Stable Video Diffusion (SVD) adalah teknologi mutakhir yang dikembangkan untuk mengonversi gambar statis menjadi konten video dinamis. Memanfaatkan model gambar Stable Diffusion sebagai dasar, SVD memperkenalkan gerakan pada gambar diam, memfasilitasi pembuatan klip video singkat. Kemajuan dalam model difusi laten ini, yang awalnya dirancang untuk sintesis gambar, kini mencakup dimensi temporal untuk menghidupkan visual diam, menghasilkan video dengan durasi biasanya antara 2 hingga 5 detik.

Stable Video Diffusion tersedia dalam dua varian: SVD standar, yang mampu menghasilkan video dengan resolusi 576×1024 piksel dalam 14 frame, dan SVD-XT yang ditingkatkan, yang dapat menghasilkan hingga 25 frame. Kedua varian ini mendukung kecepatan frame yang dapat disesuaikan dari 3 hingga 30 frame per detik, memenuhi kebutuhan beragam pembuatan konten digital.

Pelatihan model SVD melibatkan proses tiga tahap: dimulai dengan model gambar, beralih ke model video yang dilatih sebelumnya dengan dataset video yang luas, dan dipoles dengan pilihan klip video berkualitas tinggi. Proses yang cermat ini menyoroti pentingnya kualitas dataset dalam mengoptimalkan kemampuan produksi video model.

Di inti model Stable Video Diffusion adalah model gambar Stable Diffusion 2.1, yang berfungsi sebagai tulang punggung gambar dasar. Integrasi lapisan konvolusi temporal dan perhatian ke dalam estimator kebisingan U-Net mengubah ini menjadi model video yang kuat, menafsirkan tensor laten sebagai urutan video. Model ini menggunakan difusi terbalik untuk sekaligus menghilangkan kebisingan dari semua frame, mirip dengan model VideoLDM.

Dilengkapi dengan 1,5 miliar parameter dan dilatih pada dataset video yang luas, model ini menjalani penyempurnaan lebih lanjut dengan dataset video berkualitas tinggi untuk kinerja puncak. Dua set bobot model SVD dapat diakses publik, dirancang untuk menghasilkan video 14-frame dan 25-frame pada resolusi 576×1024, masing-masing.

2.2. Fitur Utama Stable Video Diffusion (SVD)

Saat menggunakan Stable Video Diffusion dalam workflow ComfyUI, Anda dapat menyesuaikan parameter utama untuk kustomisasi output video termasuk id bucket gerakan, mengontrol intensitas gerakan video; frame per detik (fps), menentukan kecepatan frame; dan tingkat augmentasi, menyesuaikan tingkat kebisingan gambar awal untuk berbagai derajat transformasi.

2.2.1. Motion Bucket ID: Fitur ini menawarkan pengguna kemampuan untuk mengontrol intensitas gerakan video. Dengan menyesuaikan parameter ini, Anda dapat menentukan jumlah gerakan yang diamati dalam video, mulai dari gerakan halus hingga aksi yang lebih jelas, tergantung pada efek visual yang diinginkan.

2.2.2. Frames Per Second (fps): Parameter ini penting untuk menentukan kecepatan pemutaran video. Menyesuaikan frame per detik memungkinkan Anda menghasilkan video yang dapat menangkap dinamika cepat dari suatu adegan atau menampilkan efek gerak lambat, sehingga meningkatkan aspek penceritaan dari konten video. Fleksibilitas ini sangat bermanfaat untuk membuat berbagai jenis video, dari iklan yang bergerak cepat hingga potongan naratif yang lebih kontemplatif.

2.2.3. Parameter Tingkat Augmentasi: Ini menyesuaikan tingkat kebisingan gambar awal, memungkinkan berbagai derajat transformasi. Dengan memanipulasi parameter ini, Anda dapat mengontrol sejauh mana gambar asli diubah selama proses pembuatan video. Menyesuaikan tingkat augmentasi memungkinkan untuk mempertahankan kesetiaan yang lebih dekat dengan gambar asli atau menjelajahi interpretasi yang lebih abstrak dan artistik, sehingga memperluas kemungkinan kreatif.