CogVideoX-5B | Gelişmiş Metinden Videoya Model

1. CogVideoX-5B Hakkında

CogVideoX-5B, Tsinghua Üniversitesi'nde Zhipu AI tarafından geliştirilen son teknoloji bir metinden videoya yayılım modelidir. CogVideoX serisinin bir parçası olarak, bu model, 3D Değişken Otomatik Kodlayıcı (VAE) ve Uzman Transformer gibi gelişmiş AI teknikleri kullanarak doğrudan metin girdilerinden videolar oluşturur. CogVideoX-5B, karmaşık hareketleri ve ayrıntılı anlamları yakalayan yüksek kaliteli, zamansal olarak tutarlı sonuçlar üretir.

CogVideoX-5B ile olağanüstü netlik ve akıcılık elde edersiniz. Model, ayrıntıları ve dinamik öğeleri olağanüstü doğrulukla yakalayarak kesintisiz akış sağlar. CogVideoX-5B kullanmak, tutarsızlıkları ve yapaylıkları azaltarak cilalı ve etkileyici bir sunum elde etmenizi sağlar. CogVideoX-5B'nin yüksek doğruluklu çıktıları, metin girdilerinden zengin ayrıntılı ve tutarlı sahneler oluşturmayı kolaylaştırır, bu da onu en üst düzey kalite ve görsel etki için vazgeçilmez bir araç haline getirir.

2. CogVideoX-5B'nin Tekniği

2.1 CogVideoX-5B'nin 3D Nedensel Değişken Otomatik Kodlayıcısı (VAE)

3D Nedensel VAE, CogVideoX-5B'nin önemli bir bileşenidir ve video verilerini hem mekansal hem de zamansal olarak sıkıştırarak verimli video üretimi sağlar. Her bir kareyi ayrı ayrı işlemek için 2D VAE'leri kullanan geleneksel modellerin aksine—bu genellikle kareler arasında titremeye neden olur—CogVideoX-5B, mekansal ve zamansal bilgileri aynı anda yakalamak için 3D evrimleri kullanır. Bu yaklaşım, kareler arasında akıcı ve tutarlı geçişler sağlar.

3D Nedensel VAE'nin mimarisi bir kodlayıcı, bir kod çözücü ve bir gizli alan düzenleyicisi içerir. Kodlayıcı, video verilerini gizli bir temsile sıkıştırır ve kod çözücü daha sonra videoyu yeniden oluşturmak için bu temsili kullanır. Bir Kullback-Leibler (KL) düzenleyici, gizli alanı sınırlayarak kodlanan videonun bir Gauss dağılımı içinde kalmasını sağlar. Bu, yeniden yapılandırma sırasında yüksek video kalitesini korumaya yardımcı olur.

3D Nedensel VAE'nin Ana Özellikleri

• Mekansal ve Zamansal Sıkıştırma: VAE, video verilerini zamansal boyutta 4x ve mekansal boyutlarda 8x8 oranında sıkıştırarak toplamda 4x8x8 sıkıştırma oranı elde eder. Bu, hesaplama gereksinimlerini azaltarak modelin daha uzun videoları daha az kaynakla işlemesini sağlar.
• Nedensel Konvolüsyon: Videodaki karelerin sırasını korumak için model, zamansal olarak nedensel konvolüsyonlar kullanır. Bu, gelecekteki karelerin mevcut veya geçmiş karelerin tahminini etkilememesini sağlar, böylece dizinin bütünlüğü üretim sırasında korunur.
• Bağlam Paralelizmi: Uzun videoları işlemenin yüksek hesaplama yükünü yönetmek için model, zamansal boyutta bağlam paralelizmi kullanır ve iş yükünü birden fazla cihaz arasında dağıtır. Bu, eğitim sürecini optimize eder ve bellek kullanımını azaltır.

2.2 CogVideoX-5B'nin Uzman Transformer Mimarisi

CogVideoX-5B'nin uzman transformer mimarisi, metin ve video verileri arasındaki karmaşık etkileşimi etkili bir şekilde yönetmek için tasarlanmıştır. Metin ve video'nun farklı özellik alanlarını işlemek için uyarlanabilir LayerNorm tekniği kullanır.

Uzman Transformer'ın Ana Özellikleri

• Yama Yapma: 3D Nedensel VAE, video verilerini kodladıktan sonra, mekansal boyutlarda daha küçük yamalara bölünür. Yama yapma olarak adlandırılan bu işlem, videoyu daha küçük segmentlere dönüştürerek transformer'ın işlemesini ve karşılık gelen metin verileriyle hizalamasını kolaylaştırır.
• 3D Döner Konumsal Gömme (RoPE): Videodaki mekansal ve zamansal ilişkileri yakalamak için CogVideoX-5B, geleneksel 2D RoPE'yi 3D'ye genişletir. Bu gömme tekniği, videonun x, y ve t boyutlarına konumsal kodlama uygular ve transformer'ın uzun video dizilerini etkili bir şekilde modellemesine ve kareler arasında tutarlılığı korumasına yardımcı olur.
• Uzman Uyarlanabilir LayerNorm (AdaLN): Transformer, metin ve video gömmelerini ayrı ayrı işlemek için bir uzman uyarlanabilir LayerNorm kullanır. Bu, modelin metin ve video'nun farklı özellik alanlarını hizalamasına olanak tanır ve bu iki modallitenin akıcı bir şekilde birleşmesini sağlar.

2.3 CogVideoX-5B'nin İlerleyici Eğitim Teknikleri

CogVideoX-5B, video üretimi sırasında performansını ve kararlılığını artırmak için çeşitli ilerleyici eğitim teknikleri kullanır.

Ana İlerleyici Eğitim Stratejileri

• Karışık Süreli Eğitim: Model, aynı partide farklı uzunluklardaki videolarla eğitilir. Bu teknik, modelin genelleme yeteneğini artırır ve farklı sürelerdeki videoları tutarlı kalite ile üretmesini sağlar.
• Çözünürlük İlerlemeli Eğitim: Model, önce daha düşük çözünürlüklü videolar üzerinde eğitilir ve ardından kademeli olarak daha yüksek çözünürlüklü videolar üzerinde ince ayar yapılır. Bu yaklaşım, modelin videoların temel yapısını ve içeriğini öğrenmesine olanak tanır ve ardından daha yüksek çözünürlüklerdeki anlayışını rafine eder.
• Açıkça Birleşik Örnekleme: Eğitim sürecini stabilize etmek için CogVideoX-5B, her veri paralel rütbesi için farklı zaman adımı örnekleme aralıkları belirleyerek açıkça birleşik örnekleme kullanır. Bu yöntem, yakınsama hızını artırır ve modelin tüm video dizisi boyunca etkili bir şekilde öğrenmesini sağlar.

3. ComfyUI CogVideoX-5B İş Akışını Kullanma

Adım 1: CogVideoX-5B Modelini Yükleyin

CogVideoX-5B modelini ComfyUI iş akışına yükleyerek başlayın. CogVideoX-5B modelleri RunComfy'nin platformunda önceden yüklü durumda.

Adım 2: Metin Girdinizi Girin

CogVideoX-5B video üretim sürecini yönlendirmek için belirlenen düğüme istediğiniz metin girdinizi girin. CogVideoX-5B, metin girdilerini dinamik video içeriğine dönüştürme konusunda mükemmeldir.

4. Lisans Anlaşması

CogVideoX modellerinin kodu  altında yayınlanmıştır.

CogVideoX-2B modeli (ilgili Transformers modülü ve VAE modülü dahil)  altında yayınlanmıştır.

CogVideoX-5B modeli (Transformers modülü)  altında yayınlanmıştır.