Linear Mask Dilation | Ohromující Animace

ComfyUI Linear Mask Dilation

Vytvářejte ohromující video animace transformací vašeho subjektu (tanečníka) a nechte je cestovat různými scénami pomocí maskovacího dilatačního efektu. Tento pracovní postup je navržen pro videa s jedním subjektem.

Jak používat pracovní postup ComfyUI Linear Mask Dilation:

1. Nahrajte video subjektu v sekci Input
2. Vyberte požadovanou šířku a výšku finálního videa, spolu s tím, kolik snímků vstupního videa by mělo být přeskočeno pomocí “every_nth”. Můžete také omezit celkový počet snímků k renderování pomocí “frame_load_cap”.
3. Vyplňte pozitivní a negativní prompt. Nastavte časy dávkových snímků tak, aby odpovídaly tomu, kdy by měly přechody scén nastat.
4. Nahrajte obrázky pro každou z barev masky subjektu IP Adapter:
   1. Bílá = subjekt (tanečník)
   2. Černá = První pozadí
   3. Červená = Červené dilatační maskovací pozadí
   4. Zelená = Zelené dilatační maskovací pozadí
   5. Modrá = Modré dilatační maskovací pozadí
5. Nahrajte dobrý LCM checkpoint (používám ParadigmLCM od Machine Delusions) v sekci “Models”.
   1. Přidejte jakékoli loras pomocí Lora stackeru pod načítací model
6. Stiskněte Queue Prompt

Input

• Můžete upravit šířku, výšku pomocí dvou vstupů vlevo nahoře
• every_nth nastaví, kolik snímků vstupu by mělo být přeskočeno (2 = každý druhý snímek)
• Číselná pole vlevo dole zobrazují informace o nahraném vstupním videu: celkový počet snímků, šířku, výšku a FPS odshora dolů.
• Pokud již máte maskovací video subjektu vygenerované (musí být bílý subjekt na černém pozadí), můžete zrušit ztlumení sekce “Override Subject Mask” a nahrát maskovací video. Volitelně můžete ztlumit sekci “Segment Subject” pro úsporu času zpracování.
• Někdy nebude segmentovaný subjekt perfektní, můžete zkontrolovat kvalitu masky pomocí náhledového pole vpravo dole, jak je vidět výše. Pokud tomu tak je, můžete si pohrát s promptem v uzlu “Florence2Run” a zaměřit se na různé části těla, jako je “hlava”, “hrudník”, “nohy” atd., a zjistit, zda získáte lepší výsledek.

Prompt

• Nastavte pozitivní prompt pomocí dávkového formátování:
  • např. “0”: “4k, masterpiece, 1girl standing on the beach, absurdres”, “25”: “HDR, sunset scene, 1girl with black hair and a white jacket, absurdres”, …
• Negativní prompt je v normálním formátu, můžete přidat embeddings, pokud si přejete.

Mask Dilations

• Každá barevná skupina odpovídá barvě dilatační masky, která bude generována.
• Můžete nastavit tvar masky, spolu s rychlostí dilatace a prodlevou snímků pomocí následujícího uzlu:
  • tvar: “kruh” je nejpřesnější, ale trvá déle generovat. Nastavte tento tvar, když jste připraveni provést finální renderování. “čtverec” je rychlý na výpočet, ale méně přesný, nejlepší pro testování pracovního postupu a rozhodování o obrázcích IP adapteru.
  • dilate_per_frame: Jak rychle by měla maska dilatovat, větší čísla = rychlejší rychlost dilatace
  • prodleva: Kolik snímků čekat, než začne maska dilatovat.
• Pokud již máte složené maskovací video vygenerované, můžete zrušit ztlumení skupiny “Override Composite Mask” a nahrát jej. Doporučuje se obejít dilatační maskovací skupiny, pokud přepisujete, abyste ušetřili čas zpracování.

Models

• Použijte dobrý LCM model pro checkpoint. Doporučuji ParadigmLCM od Machine Delusions.
• Můžete volitelně specifikovat AnimateLCM_sd15_t2v_lora.safetensors s nízkou váhou 0.18 pro další vylepšení finálního výsledku.
• Přidejte jakékoli další Loras do modelu pomocí modrého Lora stackeru pod načítacím modelem.

AnimateDiff

• Můžete nastavit jiný Motion Lora místo toho, který jsem použil (LiquidAF-0-1.safetensors)
• Nastavte hodnotu Multival Dynamic float vyšší nebo nižší v závislosti na tom, zda chcete, aby výsledek měl více nebo méně pohybu.

IP Adapters

• Zde můžete specifikovat referenční subjekty, které budou použity k renderování pozadí pro každou z dilatačních masek, stejně jako váš video subjekt.
• Barva každé skupiny představuje masku, na kterou cílí:
  • Bílá = subjekt (tanečník)
  • Černá = První pozadí
  • Červená = Červené dilatační maskovací pozadí
  • Zelená = Zelené dilatační maskovací pozadí
  • Modrá = Modré dilatační maskovací pozadí
• Pokud chcete, aby finální renderování více odpovídalo vstupním obrázkům IP adapteru, můžete změnit přednastavení IPAdapter z VIT-G na PLUS ve skupině IPA Unified Loader.

ControlNet

• Tento pracovní postup využívá 5 různých controlnetů, včetně AD, Lineart, QR Code, Depth a OpenPose.
• Všechny vstupy do controlnetů jsou generovány automaticky
• Můžete si vybrat přepsat vstupní video pro controlnety Depth a Openpose, pokud si přejete, zrušením ztlumení skupin “Override Depth” a “Override Openpose”, jak je vidět níže:

• Doporučuje se ztlumit skupiny “Generate Depth” a “Generate Openpose”, pokud přepisujete, abyste ušetřili čas zpracování.

Sampler

• Ve výchozím nastavení bude skupina HiRes Fix sampler ztlumena, aby se ušetřil čas zpracování při testování
• Doporučuji obejít skupinu Sampler, když zkoušíte experimentovat s nastavením dilatační masky, abyste ušetřili čas.
• Při finálních renderováních můžete zrušit ztlumení skupiny HiRes Fix, která zvětší a přidá detaily do finálního výsledku.

Output

• Existují dvě výstupní skupiny: vlevo je pro standardní výstup sampleru a vpravo je pro výstup HiRes Fix sampleru.
• Můžete změnit, kam budou soubory uloženy, změnou řetězce “custom_directory” v uzlech “FileNamePrefixDateDirFirst”. Ve výchozím nastavení tento uzel uloží výstupní videa do časově označeného adresáře v adresáři “output” ComfyUI
  • např. …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

O Autorovi

Akatz AI:

• Web:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakty:

• Email: akatzfey@sendysoftware.com