MimicMotion | İnsan Hareketi Video Üretimi

MimicMotion Nedir

MimicMotion, Tencent ve Shanghai Jiao Tong Üniversitesi'ndeki araştırmacılar tarafından geliştirilen kontrol edilebilir bir video üretim çerçevesidir. Sağlanan herhangi bir hareket rehberliğini takip ederek keyfi uzunlukta yüksek kaliteli videolar üretebilir. Önceki yöntemlere kıyasla, MimicMotion zengin detaylar, iyi zamansal akıcılık ve uzun diziler üretme yeteneği ile öne çıkar.

MimicMotion Nasıl Çalışır

MimicMotion, bir referans görüntü ve poz rehberliğini giriş olarak alır. Daha sonra, referans görüntünün görünümüne uyan ve sağlanan hareket dizisini takip eden bir video üretir.

MimicMotion'un güçlü performansını sağlayan birkaç önemli yenilik:

1. Güven farkındalıklı poz rehberliği: Poz güven bilgilerini dahil ederek, MimicMotion daha iyi zamansal akıcılık sağlar ve gürültülü eğitim verilerine karşı daha dayanıklıdır. Bu, iyi genelleme yapmasına yardımcı olur.
2. Bölgesel kayıp amplifikasyonu: Kayıp daha fazla yüksek güvenli poz bölgelerine, özellikle ellere odaklanarak, üretilen videolardaki görüntü bozulmasını önemli ölçüde azaltır.
3. Aşamalı gizli füzyon: Akıcı, uzun videoları verimli bir şekilde üretmek için, MimicMotion örtüşen karelere sahip video segmentleri üretir ve gizli temsillerini aşamalı olarak birleştirir. Bu, kontrollü hesaplama maliyeti ile keyfi uzunlukta videolar üretmeye olanak tanır.

Model önce büyük video veri setlerinde önceden eğitilir, ardından hareket taklit etme görevi için ince ayar yapılır. Bu verimli eğitim hattı, büyük miktarda özel veri gerektirmez.

ComfyUI MimicMotion Nasıl Kullanılır (ComfyUI-MimicMotionWrapper)

ComfyUI'de mevcut olan farklı MimicMotion düğümlerini test ettikten sonra, en iyi sonuçlar için kullanmanızı öneririz.

Adım 1: MimicMotion İçin Girdi Hazırlama

ComfyUI MimicMotion ile animasyon yapmaya başlamak için iki ana bileşene ihtiyacınız olacak:

• Referans görüntü: Bu, animasyonunuzun başlangıç noktası olarak hizmet eden ilk karedir. Animasyon yapmak istediğiniz konuyu açıkça gösteren bir görüntü seçin.
• Poz görüntüleri: Bunlar, hareket dizisini tanımlayan görüntülerdir. Her poz görüntüsü, animasyonun belirli bir noktasında konunuzun istenen pozisyonunu veya duruşunu göstermelidir. Bu poz görüntülerini manuel olarak oluşturabilir veya bir videodan pozları çıkarmak için poz tahmin araçlarını kullanabilirsiniz.

🌟Referans görüntünüzün ve poz görüntülerinizin optimal sonuçlar için aynı çözünürlük ve en-boy oranına sahip olduğundan emin olun.🌟

Adım 2: MimicMotion Modelini Yükleme

ComfyUI MimicMotion'un düzgün çalışması için MimicMotion modeline ihtiyacı vardır. RunComfy'de, model zaten kolaylık sağlamak için önceden yüklenmiştir. "DownLoadMimicMotionModel" düğümünü yapılandırmak için şu adımları izleyin:

• "model" parametresini "MimicMotion-fp16.safetensors" (veya farklı ise uygun model dosya adı) olarak ayarlayın.
• GPU yeteneklerinize bağlı olarak istenen hassasiyeti (fp32, fp16 veya bf16) seçin. Bu seçim performansı ve uyumluluğu etkileyebilir.
• "lcm" parametresini False olarak bırakın, aksi takdirde modelin LCM (Latent Conditional Motion) varyantını özellikle kullanmak isterseniz ayarlayın.

Düğüm ayarlarını yapılandırdıktan sonra, "DownloadAndLoadMimicMotionModel" düğümünün çıktısını iş akışınızdaki bir sonraki düğümün girişine bağlayın. Bu, yüklenen MimicMotion modelinin ComfyUI hattınızdaki sonraki adımlarda düzgün bir şekilde kullanılmasını sağlayacaktır.

Adım 3: MimicMotion Örnekleyicisini Yapılandırma

"MimicMotionSampler" düğümü, girdilerinize dayanarak animasyonlu kareleri üretmekten sorumludur. İşte nasıl ayarlanacağı:

• "MimicMotionSampler" düğümünü ekleyin ve "DownloadAndLoadMimicMotionModel" düğümünün çıktısına bağlayın.
• "ref_image" parametresini referans görüntünüze ve "pose_images" parametresini poz görüntülerinizin dizisine ayarlayın.
• Örnekleme ayarlarını tercihinize göre ayarlayın:
  • "steps" difüzyon adımlarının sayısını belirler (daha yüksek değerler daha akıcı sonuçlar sağlar ancak daha uzun işlem süreleri gerektirir).
  • "cfg_min" ve "cfg_max" koşullu rehberliğin gücünü kontrol eder (daha yüksek değerler poz görüntülerine daha sıkı şekilde uyar).
  • "seed" rastgele tohum ayarını belirler (yeniden üretilebilirlik sağlar).
  • "fps" üretilen animasyonun saniyedeki kare sayısını belirler.
  • "noise_aug_strength", "context_size" ve "context_overlap" gibi ek parametreleri ince ayar yaparak farklı stiller ve zamansal uyum ile deneyler yapın.

Adım 4: Gizli Örnekleri Kod Çözme

"MimicMotionSampler" düğümü, animasyonlu karelerin gizli uzay temsillerini çıktılar. Bu gizlileri gerçek görüntülere dönüştürmek için "MimicMotionDecode" düğümünü kullanmanız gerekir:

• "MimicMotionDecode" düğümünü ekleyin ve "MimicMotionSampler" düğümünün çıktısına bağlayın.
• "decode_chunk_size" parametresini aynı anda çözülen kare sayısını kontrol etmek için ayarlayın (daha yüksek değerler daha fazla GPU belleği tüketebilir). "MimicMotionDecode" düğümünün çıktısı, görüntü formatında nihai animasyonlu kareler olacaktır.

Adım 5: MimicMotionGetPoses ile Pozları İyileştirme

Referans görüntünüzle birlikte çıkarılan pozları görselleştirmek istiyorsanız, "MimicMotionGetPoses" düğümünü kullanabilirsiniz:

• "ref_image" ve "pose_images"'i "MimicMotionGetPoses" düğümüne bağlayın.
• "include_body", "include_hand" ve "include_face" parametrelerini hangi poz anahtar noktalarının görüntüleneceğini kontrol etmek için ayarlayın. Çıktı, çıkarılan poz ile referans görüntüsünü ve bireysel poz görüntülerini içerecektir.

İpuçları ve En İyi Uygulamalar

ComfyUI MimicMotion'dan en iyi şekilde yararlanmanıza yardımcı olacak bazı ipuçları:

• Çeşitli animasyonlar oluşturmak için farklı referans görüntüleri ve poz dizileri ile deney yapın.
• Gereksinimlerinize göre kalite ve işlem süresi arasında denge kurmak için örnekleme ayarlarını ayarlayın.
• En iyi sonuçlar için yüksek kaliteli, tutarlı poz görüntüleri kullanın. Pozlar arasında perspektif veya aydınlatmada büyük değişikliklerden kaçının.
• Yüksek çözünürlüklü görüntüler veya uzun animasyonlarla çalışırken GPU bellek kullanımınızı izleyin.
• Benzersiz efektler için gürültü zamanlamasını özelleştirmek için "DiffusersScheduler" düğümünden yararlanın.

ComfyUI MimicMotion, çarpıcı animasyonları zahmetsizce oluşturmanıza olanak tanıyan güçlü ve çok yönlü bir araçtır. İş akışını anlayarak ve çeşitli parametreleri keşfederek, herhangi birini kolayca animasyon yapabilirsiniz. Animasyon dünyasına girerken, denemeyi, yinelemeyi ve süreç boyunca eğlenmeyi unutmayın. ComfyUI MimicMotion ile olanaklar sınırsızdır, bu yüzden yaratıcı vizyonlarınızı hayata geçirmenin tadını çıkarın!