Audioreactive Mask Dilation | Fantastiska Animationer

Skapa fantastiska videoanimationer genom att förvandla ditt ämne (t.ex. en dansare) med en dynamisk aura som rytmiskt expanderar och kontraherar i takt med musiken. Använd detta arbetsflöde med enskilda ämnen eller flera ämnen som visas i exemplen.

Hur man använder Audioreactive Mask Dilation Workflow:

1. Ladda upp en ämnesvideo i Inmatningssektionen
2. Välj önskad bredd och höjd för den slutliga videon, samt hur många ramar från inmatningsvideon som ska hoppas över med 'every_nth'. Du kan också begränsa det totala antalet ramar att rendera med 'frame_load_cap'.
3. Fyll i den positiva och negativa prompten. Ställ in batchramtider för att matcha när du vill att scenövergångarna ska ske.
4. Ladda upp bilder för var och en av standardfärgerna på IP Adapter-ämnesmasken:
   1. Röd = ämne (dansare)
   2. Svart = Bakgrund
   3. Vit = Vit audioreaktiv dilationsmask
5. Ladda en bra LCM-kontrollpunkt (jag använder ParadigmLCM av Machine Delusions) i 'Models'-sektionen.
   1. Lägg till eventuella loras med hjälp av Lora stacker under modellens laddare
6. Tryck på Queue Prompt

Input

• Ladda upp din önskade ämnesvideo till Load Video (Upload)-noden.
• Justera utgångsbredden och höjden med hjälp av de två inmatningarna längst upp till vänster.
• every_nth ställer in om varje annan ram, varje tredje ram och så vidare (2 = varje annan ram) ska användas. Lämnas på 1 som standard.
• skip_frames används för att hoppa över ramar i början av videon. (100 = hoppa över de första 100 ramarna från inmatningsvideon). Lämnas på 0 som standard.
• frame_load_cap används för att ange hur många totalt ramar från inmatningsvideon som ska laddas. Bäst att hålla lågt när du testar inställningar (30 - 60 till exempel) och sedan öka eller ställa in på 0 (ingen ramargräns) när du renderar den slutliga videon.
• Sifferfälten längst ner till höger visar information om den uppladdade inmatningsvideon: totalt antal ramar, bredd, höjd och FPS från topp till botten.
• Om du redan har en maskvideo av ämnet genererad, avaktivera 'Upload Subject Mask'-sektionen och ladda upp maskvideon. Valfritt att avaktivera 'Segment Dancer'-sektionen för att spara lite bearbetningstid.
• Ibland kommer det segmenterade ämnet inte att vara perfekt, kontrollera då maskkvaliteten med hjälp av förhandsgranskningsrutan längst ner till höger som visas ovan. Om så är fallet kan du experimentera med prompten i 'Florence2Run'-noden för att rikta in dig på olika kroppsdelar som 'huvud', 'bröst', 'ben', etc. och se om du får ett bättre resultat.

Prompt

• Ställ in den positiva prompten med batchformat:
  • t.ex. '0': '4k, mästerverk, 1 flicka står på stranden, absurdres', '25': 'HDR, solnedgångsscen, 1 flicka med svart hår och en vit jacka, absurdres', …
• Negativ prompt är normal format, lägg till embeddings om så önskas.

Ljudbearbetning

• Denna sektion tar in ljud från inmatningsvideon, extraherar stammarna (bas, trummor, sång, etc.) och konverterar det sedan till en normaliserad amplitud synkroniserad med inmatningsvideons ramar.
• amp_control = totalt omfång som amplituden kan röra sig inom.
• amp_offset = det minsta värdet som amplituden kan ta.
  • Exempel: amp_control = 0.8 och amp_offset = 0.2 betyder att signalen kommer att röra sig mellan 0.2 och 1.0.
• Ibland innehåller Trummor-stammen de faktiska basnoterna från låten; förhandsgranska varje för att avgöra vilken som är bäst för dina masker.
• Använd graferna för att få en tydlig förståelse för hur signalen för den stammen förändras under videons varaktighet.

Dilatera Masker

• Varje färgad grupp motsvarar färgen på dilationsmasken som kommer att genereras av den.
• Ställ in min- och maxradie för dilationsmasken, samt dess form, med hjälp av följande nod:

• form: 'circle' är den mest exakta men tar längre tid att generera. Ställ in detta när du är redo att utföra den slutliga renderingen. 'square' är snabb att beräkna men mindre exakt, bäst för att testa arbetsflödet och bestämma IP-adapterbilder.
• max_radius: Maskradien i pixlar när amplitudvärdet är max (1.0).
• min_radius: Maskradien i pixlar när amplitudvärdet är min (0.0).
• Om du redan har en sammansatt maskvideo genererad kan du avaktivera 'Override Composite Mask'-gruppen och ladda upp den. Det rekommenderas att kringgå dilationsmaskgrupperna om du åsidosätter för att spara bearbetningstid.

Modeller

• Använd en bra LCM-modell för kontrollpunkten. Jag rekommenderar ParadigmLCM av Machine Delusions.
• Slå samman flera modeller med hjälp av Model Merge Stack för att få olika intressanta effekter. Se till att vikterna summerar till 1,0 för de aktiverade modellerna.
• Valfritt, ange AnimateLCM_sd15_t2v_lora.safetensors med en låg vikt på 0.18 för att ytterligare förbättra slutresultatet.
• Lägg till eventuella ytterligare Loras till modellen med hjälp av Lora stacker under modellens laddare.

AnimateDiff

• Ställ in en annan Motion Lora istället för den jag använde (LiquidAF-0-1.safetensors)
• Öka/minska Scale och Effect-floats för att öka/minska mängden rörelse i utgången.

IP Adapters

• Här kan du ange referensbilderna som kommer att användas för att rendera bakgrunderna för var och en av dilationsmaskerna, samt dina videoämnen.
• Färgen på varje grupp representerar masken den riktar sig till:

Röd, Grön, Blå:

• Ämnesmaskreferensbilder.

Svart:

• Bakgrundsmaskbild, ladda upp en referensbild för bakgrunden.

Vit, Gul, Magenta, Cyan:

• Dilationsmaskreferensbilder, ladda upp en referensbild för varje färgdilationsmask som används.

ControlNet

• Detta arbetsflöde använder sig av 5 olika controlnets, inklusive AD, Lineart, QR Code, Depth och OpenPose.
• Alla inmatningar till controlnets genereras automatiskt
• Du kan välja att åsidosätta inmatningsvideon för Lineart, Depth och Openpose controlnets om du vill genom att avaktivera 'Override '-grupperna som visas nedan:

• Det rekommenderas att du också avaktiverar 'Generate'-grupperna om du åsidosätter för att spara bearbetningstid.

Tips:

• Kringgå Ksampler och börja en render med din fullständiga inmatningsvideo. När alla förprocessorvideor är genererade, spara dem och ladda upp dem till respektive åsidosättningar. Från och med nu när du testar arbetsflödet behöver du inte vänta på att varje förprocessorvideo ska genereras individuellt.

Sampler

• Som standard kommer HiRes Fix-samplergruppen att vara avaktiverad för att spara bearbetningstid vid testning
• Jag rekommenderar att kringgå Sampler-gruppen också när du försöker experimentera med dilationsmaskinställningar för att spara tid.
• Vid slutliga renderingar kan du avaktivera HiRes Fix-gruppen som kommer att skala upp och lägga till detaljer till slutresultatet.

Utgång

• Det finns två utgångsgrupper: den vänstra är för standard sampler-utgång, och den högra är för HiRes Fix-sampler-utgång.

Om författaren

Akatz AI:

• Webbplats:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakter:

• E-post: akatz.hello@gmail.com