Audioreactive Mask Dilation | Adembenemende Animaties

Creëer adembenemende videoanimaties door je onderwerp (bijv. een danser) te transformeren met een dynamische aura die ritmisch uitzet en krimpt in sync met de beat. Gebruik deze workflow met enkele onderwerpen of meerdere onderwerpen zoals te zien in de voorbeelden.

Hoe de Audioreactive Mask Dilation Workflow te gebruiken:

1. Upload een onderwerpvideo in de Input-sectie
2. Selecteer de gewenste breedte en hoogte voor de uiteindelijke video, evenals hoeveel frames van de inputvideo moeten worden overgeslagen met 'every_nth'. Je kunt ook het totale aantal frames dat moet worden gerenderd beperken met 'frame_load_cap'.
3. Vul de positieve en negatieve prompt in. Stel batch frame-tijden in om overeen te komen met wanneer je wilt dat de scèneovergangen plaatsvinden.
4. Upload afbeeldingen voor elk van de standaard IP Adapter onderwerp maskerkleuren:
   1. Rood = onderwerp (danser)
   2. Zwart = Achtergrond
   3. Wit = Witte audioreactieve dilatiemasker
5. Laad een goed LCM-checkpoint (ik gebruik ParadigmLCM van Machine Delusions) in de 'Models' sectie.
   1. Voeg eventuele loras toe met behulp van de Lora stacker onder de modellader
6. Klik op Queue Prompt

Input

• Upload je gewenste onderwerpvideo naar de Load Video (Upload) node.
• Pas de uitvoerbreedte en -hoogte aan met behulp van de twee invoervelden linksboven.
• every_nth stelt in of elke andere frame, elke derde frame enz. wordt gebruikt (2 = elke andere frame). Standaard ingesteld op 1.
• skip_frames wordt gebruikt om frames aan het begin van de video over te slaan. (100 = sla de eerste 100 frames van de inputvideo over). Standaard ingesteld op 0.
• frame_load_cap wordt gebruikt om op te geven hoeveel totale frames van de inputvideo moeten worden geladen. Het is het beste om dit laag te houden bij het testen van instellingen (bijvoorbeeld 30 - 60) en vervolgens te verhogen of in te stellen op 0 (geen frame cap) bij het renderen van de uiteindelijke video.
• De numerieke velden rechtsonder tonen informatie over de geüploade inputvideo: totale frames, breedte, hoogte, en FPS van boven naar beneden.
• Als je al een maskervideo van het onderwerp hebt gegenereerd, demp dan de 'Upload Subject Mask' sectie niet en upload de maskervideo. Dempt optioneel de 'Segment Dancer' sectie om wat verwerkingstijd te besparen.
• Soms is het gesegmenteerde onderwerp niet perfect, controleer dan de maskerkwaliteit met behulp van het voorvertoningsvak rechtsonder zoals hierboven te zien. Als dat het geval is, kun je met de prompt in de 'Florence2Run' node spelen om verschillende lichaamsdelen zoals 'hoofd', 'borst', 'benen', enz. te targeten en te zien of je een beter resultaat krijgt.

Prompt

• Stel de positieve prompt in met behulp van batchformattering:
  • bijv. '0': '4k, meesterwerk, 1 meisje staand op het strand, absurdres', '25': 'HDR, zonsondergang scène, 1 meisje met zwart haar en een witte jas, absurdres', …
• Negatieve prompt is normaal formaat, voeg embeddings toe indien gewenst.

Audioverwerking

• Deze sectie neemt audio van de inputvideo, extraheert de stems (bas, drums, zang, enz.) en converteert deze vervolgens naar een genormaliseerde amplitude die is gesynchroniseerd met de inputvideo-frames.
• amp_control = totale bereik dat de amplitude kan reizen.
• amp_offset = de minimale waarde die de amplitude kan aannemen.
  • Voorbeeld: amp_control = 0.8 en amp_offset = 0.2 betekent dat het signaal tussen 0.2 en 1.0 zal reizen.
• Soms bevat de Drum-stem de eigenlijke basnoten van het nummer; bekijk elk om te bepalen welke het beste is voor je maskers.
• Gebruik de grafieken om een duidelijk begrip te krijgen van hoe het signaal voor die stem verandert gedurende de duur van de video.

Dilate Masks

• Elke gekleurde groep komt overeen met de kleur van het dilatiemasker dat daardoor wordt gegenereerd.
• Stel de minimale en maximale straal voor het dilatiemasker in, samen met de vorm, met behulp van de volgende node:

• vorm: 'circle' is het meest nauwkeurig, maar duurt langer om te genereren. Stel dit in wanneer je klaar bent om de uiteindelijke rendering uit te voeren. 'square' is snel te berekenen, maar minder nauwkeurig, het beste om de workflow uit te testen en IP-adapterafbeeldingen te kiezen.
• max_radius: De maskerradius in pixels wanneer de amplitude waarde maximaal is (1.0).
• min_radius: De maskerradius in pixels wanneer de amplitude waarde minimaal is (0.0).
• Als je al een samengestelde maskervideo hebt gegenereerd, kun je de 'Override Composite Mask' groep dempen en uploaden. Het wordt aanbevolen om de dilatiemaskergroepen over te slaan als je overschrijft om verwerkingstijd te besparen.

Models

• Gebruik een goed LCM-model voor het checkpoint. Ik raad ParadigmLCM van Machine Delusions aan.
• Combineer meerdere modellen met behulp van de Model Merge Stack om verschillende interessante effecten te krijgen. Zorg ervoor dat de gewichten optellen tot 1.0 voor de ingeschakelde modellen.
• Optioneel kun je de AnimateLCM_sd15_t2v_lora.safetensors specificeren met een laag gewicht van 0.18 om het uiteindelijke resultaat verder te verbeteren.
• Voeg eventuele extra Loras toe aan het model met behulp van de Lora stacker onder de modellader.

AnimateDiff

• Stel een andere Motion Lora in in plaats van degene die ik gebruikte (LiquidAF-0-1.safetensors)
• Verhoog/verlaag de Scale en Effect floats om de hoeveelheid beweging in de output te verhogen/verlagen.

IP Adapters

• Hier kun je de referentieafbeeldingen specificeren die zullen worden gebruikt om de achtergronden voor elk van de dilatiemaskers te renderen, evenals je video-onderwerp(en).
• De kleur van elke groep vertegenwoordigt het masker dat het target:

Rood, Groen, Blauw:

• Onderwerp masker referentieafbeeldingen.

Zwart:

• Achtergrond masker afbeelding, upload een referentieafbeelding voor de achtergrond.

Wit, Geel, Magenta, Cyaan:

• Dilatiemasker referentieafbeeldingen, upload een referentieafbeelding voor elk kleur dilatiemasker dat in gebruik is.

ControlNet

• Deze workflow maakt gebruik van 5 verschillende controlnets, waaronder AD, Lineart, QR Code, Depth, en OpenPose.
• Alle inputs voor de controlnets worden automatisch gegenereerd
• Je kunt ervoor kiezen om de inputvideo voor de Lineart, Depth en Openpose controlnets te overschrijven indien gewenst door de 'Override' groepen te dempen zoals hieronder te zien:

• Het wordt aanbevolen om ook de 'Generate' groepen te dempen als je overschrijft om verwerkingstijd te besparen.

Tip:

• Omzeil de Ksampler en start een render met je volledige inputvideo. Zodra alle preprocessievideo's zijn gegenereerd, sla ze op en upload ze naar de respectieve overschrijvingen. Voortaan hoef je bij het testen van de workflow niet te wachten tot elke preprocessievideo afzonderlijk is gegenereerd.

Sampler

• Standaard zal de HiRes Fix sampler groep worden gedempt om verwerkingstijd te besparen bij het testen
• Ik raad aan om de Sampler groep ook te omzeilen wanneer je experimenteert met dilatiemasker instellingen om tijd te besparen.
• Bij uiteindelijke renders kun je de HiRes Fix groep dempen, die de uiteindelijke output zal upscalen en details zal toevoegen.

Output

• Er zijn twee outputgroepen: de linker is voor standaard sampler output, en de rechter is voor de HiRes Fix sampler output.

Over de Auteur

Akatz AI:

• Website:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Contacten:

• Email: akatz.hello@gmail.com