Audioreactive Mask Dilation | Çarpıcı Animasyonlar

Bir konuyu (örneğin bir dansçı) ritimle senkronize olarak dinamik bir aurayla dönüştürerek çarpıcı video animasyonları oluşturun. Bu iş akışını tek konular veya örneklerde görüldüğü gibi birden fazla konu ile kullanın.

Audioreactive Mask Dilation Workflow'u Nasıl Kullanılır:

1. Giriş bölümüne bir konu videosu yükleyin
2. Nihai video için istenen genişlik ve yüksekliği seçin ve giriş videosundan kaç kare atlanması gerektiğini 'every_nth' ile belirleyin. 'frame_load_cap' ile işlenecek toplam kare sayısını da sınırlayabilirsiniz.
3. Pozitif ve negatif istemi doldurun. Sahne geçişlerinin ne zaman gerçekleşmesini istediğinize göre toplu kare zamanlarını ayarlayın.
4. Varsayılan IP Adapter konu maske renkleri için resimleri yükleyin:
   1. Kırmızı = konu (dansçı)
   2. Siyah = Arka plan
   3. Beyaz = Beyaz audioreactive genişleme maskesi
5. 'Modeller' bölümünde iyi bir LCM kontrol noktası yükleyin (Machine Delusions tarafından ParadigmLCM kullanıyorum).
   1. Model yükleyicinin altındaki Lora yığını kullanarak herhangi bir lora ekleyin
6. Queue Prompt'a basın

Giriş

• Yüklemek istediğiniz konu videosunu Load Video (Upload) düğümüne yükleyin.
• Çıkış genişliği ve yüksekliğini sol üstteki iki girişi kullanarak ayarlayın.
• every_nth her diğer kareyi, her üçüncü kareyi vb. kullanmayı ayarlar (2 = her diğer kare). Varsayılan olarak 1'de bırakılmıştır.
• skip_frames videonun başlangıcındaki kareleri atlamak için kullanılır. (100 = giriş videosundan ilk 100 kareyi atla). Varsayılan olarak 0'da bırakılmıştır.
• frame_load_cap giriş videosundan kaç toplam kare yükleneceğini belirtmek için kullanılır. Ayarları test ederken düşük tutmak en iyisidir (örneğin 30 - 60) ve ardından nihai videoyu işlerken artırın veya 0'a ayarlayın (kare sınırı yok).
• Sağ alt köşedeki sayı alanları, yüklenen giriş videosu hakkında bilgi gösterir: toplam kareler, genişlik, yükseklik ve FPS yukarıdan aşağıya.
• Konu maskesi videosu zaten oluşturulmuşsa, 'Upload Subject Mask' bölümünü sessizden çıkarın ve maske videosunu yükleyin. Zaman kazanmak için 'Segment Dancer' bölümünü isteğe bağlı olarak sessize alın.
• Bazen segmentlenmiş konu mükemmel olmayabilir, bu durumda yukarıda görülen sağ alt köşedeki önizleme kutusunu kullanarak maske kalitesini kontrol edin. Eğer durum buysa, 'Florence2Run' düğümündeki istemi 'baş', 'göğüs', 'bacaklar' gibi farklı vücut bölümlerini hedeflemek için oynayabilirsiniz ve daha iyi bir sonuç alıp almadığınızı görebilirsiniz.

İstem

• Toplu formatlama kullanarak pozitif istemi ayarlayın:
  • örneğin '0': '4k, başyapıt, plajda duran 1 kız, absurdres', '25': 'HDR, gün batımı sahnesi, siyah saçlı ve beyaz ceketli 1 kız, absurdres', …
• Negatif istem normal formattadır, istenirse gömüler ekleyin.

Ses İşleme

• Bu bölüm giriş videosundan ses alır, gövdeleri (bas, davul, vokal vb.) çıkarır ve ardından giriş video kareleriyle senkronize edilmiş normalleştirilmiş bir genlik dönüştürür.
• amp_control = genliğin seyahat edebileceği toplam aralık.
• amp_offset = genliğin alabileceği minimum değer.
  • Örnek: amp_control = 0.8 ve amp_offset = 0.2, sinyalin 0.2 ile 1.0 arasında seyahat edeceği anlamına gelir.
• Bazen Davul gövdesi şarkının gerçek Bas notalarını içerir; maskeleriniz için hangisinin en iyi olduğunu belirlemek için her birini önizleyin.
• Grafikler, gövdenin sinyalinin video süresi boyunca nasıl değiştiğini net bir şekilde anlamanızı sağlar.

Maskeleri Genişlet

• Her renkli grup, onun tarafından oluşturulacak genişleme maskesinin rengini temsil eder.
• Aşağıdaki düğüm kullanarak, genişleme maskesi için minimum ve maksimum yarıçapı ve şeklini ayarlayın:

• şekil: 'daire' en doğru olanıdır ancak oluşturulması daha uzun sürer. Nihai render için hazır olduğunuzda bunu ayarlayın. 'kare' hızlıdır ancak daha az doğrudur, iş akışını test etmek ve IP adaptör resimlerini seçmek için en iyisidir.
• max_radius: Genlik değeri maksimum olduğunda (1.0) maske yarıçapı piksel cinsinden.
• min_radius: Genlik değeri minimum olduğunda (0.0) maske yarıçapı piksel cinsinden.
• Zaten bir bileşik maske videosu oluşturduysanız, 'Override Composite Mask' grubunu sessizden çıkarabilir ve yükleyebilirsiniz. Geçersiz kılarken genişleme maske gruplarını atlamak önerilir, böylece işlem süresinden tasarruf edebilirsiniz.

Modeller

• Kontrol noktası için iyi bir LCM modeli kullanın. Machine Delusions tarafından ParadigmLCM'yi öneririm.
• Çeşitli ilginç efektler elde etmek için birden fazla modeli Model Merge Stack kullanarak birleştirin. Etkin modeller için ağırlıkların 1.0'a eşit olduğundan emin olun.
• Nihai sonucu daha da geliştirmek için düşük bir ağırlıkla (0.18) AnimateLCM_sd15_t2v_lora.safetensors belirtebilirsiniz.
• Model yükleyicinin altındaki Lora yığını kullanarak ek Loras ekleyin.

AnimateDiff

• Kullandığım Motion Lora yerine farklı bir tane ayarlayın (LiquidAF-0-1.safetensors)
• Çıktıdaki hareket miktarını artırmak/azaltmak için Scale ve Effect floatlarını artırın/azaltın.

IP Adapters

• Burada genişleme maskeleri için arka planları ve video konularınızı oluşturmak için kullanılacak referans resimlerini belirtebilirsiniz.
• Her grubun rengi, hedeflediği maskeyi temsil eder:

Kırmızı, Yeşil, Mavi:

• Konu maske referans resimleri.

Siyah:

• Arka plan maske resmi, arka plan için bir referans resmi yükleyin.

Beyaz, Sarı, Macenta, Camgöbeği:

• Genişleme maske referans resimleri, her renk genişleme maskesi için bir referans resmi yükleyin.

ControlNet

• Bu iş akışı, AD, Lineart, QR Code, Depth ve OpenPose dahil olmak üzere 5 farklı controlnet kullanır.
• Controlnet'lere tüm girdiler otomatik olarak oluşturulur
• İstenirse Lineart, Depth ve Openpose controlnet'leri için giriş videosunu geçersiz kılmak için aşağıda görüldüğü gibi 'Override' gruplarını sessizden çıkarabilirsiniz:

• Geçersiz kılarken 'Generate' gruplarını sessize almak da önerilir, böylece işlem süresinden tasarruf edebilirsiniz.

İpucu:

• Ksampler'ı atlayın ve tam giriş videonuzla bir render başlatın. Tüm ön işlemci videoları oluşturulduktan sonra bunları kaydedin ve ilgili geçersiz kılmalara yükleyin. Bundan sonra iş akışını test ederken her bir ön işlemci videosunun ayrı ayrı oluşturulmasını beklemek zorunda kalmazsınız.

Sampler

• Varsayılan olarak HiRes Fix sampler grubu test ederken işlem süresinden tasarruf etmek için sessize alınacaktır
• Genişleme maske ayarlarıyla denemeler yaparken zaman kazanmak için Sampler grubunu da atlamanızı öneririm.
• Nihai renderlarda HiRes Fix grubunu sessizden çıkararak nihai sonuca ayrıntılar ve ölçeklendirme ekleyebilirsiniz.

Çıkış

• İki çıkış grubu vardır: soldaki standart sampler çıkışı için, sağdaki HiRes Fix sampler çıkışı için.

Yazar Hakkında

Akatz AI:

• Website:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

İletişim:

• Email: akatz.hello@gmail.com