Audioreaktivní Dilatace Masky | Ohromující Animace

Vytvářejte ohromující video animace transformací svého subjektu (např. tanečníka) s dynamickou aurou, která se rytmicky rozšiřuje a smršťuje v synchronizaci s rytmem. Použijte tento workflow s jednotlivými subjekty nebo více subjekty, jak je vidět v příkladech.

Jak používat Audioreaktivní Workflow Dilatace Masky:

1. Nahrajte video subjektu v sekci Vstup
2. Vyberte požadovanou šířku a výšku pro konečné video, stejně jako kolik snímků z vstupního videa by mělo být přeskočeno pomocí 'every_nth'. Můžete také omezit celkový počet snímků k renderování pomocí 'frame_load_cap'.
3. Vyplňte pozitivní a negativní prompt. Nastavte časy dávkových snímků tak, aby odpovídaly okamžikům, kdy by měly nastat přechody scén.
4. Nahrajte obrázky pro každou z výchozích barev masky IP Adapter subjektu:
   1. Červená = subjekt (tanečník)
   2. Černá = Pozadí
   3. Bílá = Bílá audioreaktivní dilatační maska
5. Nahrajte dobrý LCM checkpoint (používám ParadigmLCM od Machine Delusions) v sekci 'Models'.
   1. Přidejte jakékoli loras pomocí Lora stackeru pod načítačem modelu
6. Stiskněte Queue Prompt

Vstup

• Nahrajte požadované video subjektu do uzlu Load Video (Upload).
• Nastavte výstupní šířku a výšku pomocí dvou vstupů vlevo nahoře.
• every_nth určuje, zda použít každý druhý snímek, každý třetí snímek a tak dále (2 = každý druhý snímek). Ve výchozím nastavení 1.
• skip_frames se používá k přeskočení snímků na začátku videa. (100 = přeskočit prvních 100 snímků z vstupního videa). Ve výchozím nastavení 0.
• frame_load_cap se používá k určení, kolik celkových snímků z vstupního videa by mělo být načteno. Nejlepší je udržet nízko při testování nastavení (např. 30 - 60) a poté zvýšit nebo nastavit na 0 (bez omezení snímků) při renderování konečného videa.
• Pole s čísly vpravo dole zobrazují informace o nahraném vstupním videu: celkový počet snímků, šířka, výška a FPS shora dolů.
• Pokud již máte maskové video subjektu vygenerované, odtlumte sekci 'Upload Subject Mask' a nahrajte maskové video. Volitelně ztlumte sekci 'Segment Dancer' pro úsporu času zpracování.
• Někdy segmentovaný subjekt nebude dokonalý, pak zkontrolujte kvalitu masky pomocí náhledového okna vpravo dole, jak je vidět výše. Pokud je tomu tak, můžete si pohrát s promptem v uzlu 'Florence2Run', abyste cílovali různé části těla, jako je 'hlava', 'hrudník', 'nohy' atd., a zjistili, zda dosáhnete lepšího výsledku.

Prompt

• Nastavte pozitivní prompt pomocí dávkového formátování:
  • např. '0': '4k, masterpiece, 1girl standing on the beach, absurdres', '25': 'HDR, sunset scene, 1girl with black hair and a white jacket, absurdres', …
• Negativní prompt je normální formát, přidejte embeddingy, pokud je to žádoucí.

Zpracování Audia

• Tato sekce přijímá audio z vstupního videa, extrahuje stopy (basa, bicí, vokály atd.) a poté jej převádí na normalizovanou amplitudu synchronizovanou s vstupními snímky videa.
• amp_control = celkový rozsah, který může amplituda dosáhnout.
• amp_offset = minimální hodnota, kterou může amplituda dosáhnout.
  • Příklad: amp_control = 0.8 a amp_offset = 0.2 znamená, že signál bude cestovat mezi 0.2 a 1.0.
• Někdy stopa bicích obsahuje skutečné basové noty z písně; náhled každé, aby se určilo, která je nejlepší pro vaše masky.
• Použijte grafy k získání jasného pochopení, jak se signál pro danou stopu mění během trvání videa.

Dilatace Masek

• Každá barevná skupina odpovídá barvě dilatační masky, která bude generována.
• Nastavte min a max poloměr pro dilatační masku, spolu s jejím tvarem, pomocí následujícího uzlu:

• tvar: 'kruh' je nejpřesnější, ale trvá déle generovat. Nastavte to, když jste připraveni provést konečné renderování. 'čtverec' je rychlý k výpočtu, ale méně přesný, nejlepší pro testování workflow a rozhodování o obrázcích IP adapteru.
• max_radius: Poloměr masky v pixelech, když je hodnota amplitudy max (1.0).
• min_radius: Poloměr masky v pixelech, když je hodnota amplitudy min (0.0).
• Pokud již máte složené maskové video vygenerované, můžete odtlumit skupinu 'Override Composite Mask' a nahrát ji. Doporučuje se obejít skupiny dilatačních masek, pokud se přepisuje, pro úsporu času zpracování.

Modely

• Použijte dobrý LCM model pro checkpoint. Doporučuji ParadigmLCM od Machine Delusions.
• Spojte více modelů dohromady pomocí Model Merge Stack pro získání různých zajímavých efektů. Ujistěte se, že váhy dohromady tvoří 1.0 pro povolené modely.
• Volitelně specifikujte AnimateLCM_sd15_t2v_lora.safetensors s nízkou váhou 0.18 pro další vylepšení konečného výsledku.
• Přidejte jakékoli další Loras k modelu pomocí Lora stackeru pod načítačem modelu.

AnimateDiff

• Nastavte jiný Motion Lora místo toho, který jsem použil (LiquidAF-0-1.safetensors)
• Zvýšit/snížit hodnoty Scale a Effect pro zvýšení/snížení množství pohybu ve výstupu.

IP Adapters

• Zde můžete specifikovat referenční obrázky, které budou použity k renderování pozadí pro každou z dilatačních masek, stejně jako vaše video subjekty.
• Barva každé skupiny představuje masku, na kterou cílí:

Červená, Zelená, Modrá:

• Referenční obrázky masky subjektu.

Černá:

• Obrázek pozadí masky, nahrajte referenční obrázek pro pozadí.

Bílá, Žlutá, Magenta, Azurová:

• Referenční obrázky dilatační masky, nahrajte referenční obrázek pro každou barevnou dilatační masku, která se používá.

ControlNet

• Tento workflow využívá 5 různých controlnetů, včetně AD, Lineart, QR Code, Depth a OpenPose.
• Všechny vstupy do controlnetů jsou generovány automaticky
• Můžete se rozhodnout přepsat vstupní video pro controlnety Lineart, Depth a Openpose, pokud je to žádoucí, odtlumením skupin 'Override ', jak je vidět níže:

• Doporučuje se také ztlumit skupiny 'Generate', pokud se přepisuje, pro úsporu času zpracování.

Tip:

• Obcházejte Ksampler a spusťte render s vaším plným vstupním videem. Jakmile jsou všechna předzpracovaná videa generována, uložte je a nahrajte je do příslušných přepisů. Od nynějška při testování workflow nebudete muset čekat na generování každého předzpracovaného videa jednotlivě.

Sampler

• Ve výchozím nastavení bude skupina HiRes Fix sampler ztlumena pro úsporu času při testování
• Doporučuji obejít skupinu Sampler při experimentování s nastaveními dilatační masky pro úsporu času.
• Při konečných renderech můžete odtlumit skupinu HiRes Fix, která upscaluje a přidá detaily do konečného výsledku.

Výstup

• Existují dvě výstupní skupiny: vlevo je pro standardní výstup sampleru a vpravo je pro výstup HiRes Fix sampleru.

O Autorovi

Akatz AI:

• Web:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakty:

• Email: akatz.hello@gmail.com