Audioreaktiv Mask Dilation | Fantastiske Animasjoner

Lag fantastiske videoanimasjoner ved å forvandle ditt emne (f.eks. en danser) med en dynamisk aura som rytmisk utvider og trekker seg sammen i takt med rytmen. Bruk denne workflowen med enkeltstående emner eller flere emner som vist i eksemplene.

Slik bruker du Audioreaktiv Mask Dilation Workflow:

1. Last opp en emnevideo i Input-seksjonen
2. Velg ønsket bredde og høyde for den endelige videoen, sammen med hvor mange rammer fra inngangsvideoen som skal hoppes over med 'every_nth'. Du kan også begrense det totale antallet rammer som skal gjengis med 'frame_load_cap'.
3. Fyll ut den positive og negative prompten. Sett batch rammetider for å matche når du ønsker at sceneskiftene skal skje.
4. Last opp bilder for hver av de standard IP Adapter emnemaskefargene:
   1. Rød = emne (danser)
   2. Svart = Bakgrunn
   3. Hvit = Hvit audioreaktiv dilasjonsmaske
5. Last en god LCM checkpoint (jeg bruker ParadigmLCM av Machine Delusions) i 'Models'-seksjonen.
   1. Legg til eventuelle loras ved å bruke Lora stackeren under modell-lasteren
6. Trykk på Queue Prompt

Input

• Last opp ønsket emnevideo til Load Video (Upload) noden.
• Juster utgangsbredde og -høyde ved bruk av de to øverste venstre inngangene.
• every_nth setter om du skal bruke hver annen ramme, hver tredje ramme og så videre (2 = hver annen ramme). Står på 1 som standard.
• skip_frames brukes til å hoppe over rammer i begynnelsen av videoen. (100 = hopp over de første 100 rammene fra inngangsvideoen). Står på 0 som standard.
• frame_load_cap brukes til å spesifisere hvor mange totale rammer fra inngangsvideoen som skal lastes. Best å holde lavt når du tester innstillinger (30 - 60 for eksempel) og deretter øke eller sette til 0 (ingen rammegrense) når du gjengir den endelige videoen.
• Tallfeltene nederst til høyre viser info om den opplastede inngangsvideoen: totale rammer, bredde, høyde og FPS fra topp til bunn.
• Hvis du allerede har en maskvideo av emnet generert, demp 'Upload Subject Mask'-seksjonen og last opp maskvideoen. Valgfritt demp 'Segment Dancer'-seksjonen for å spare litt prosesseringstid.
• Noen ganger vil det segmenterte emnet ikke være perfekt, da sjekk maskekvaliteten ved å bruke forhåndsvisningsboksen nederst til høyre som vist ovenfor. Hvis det er tilfellet, kan du leke med prompten i 'Florence2Run' noden for å målrette forskjellige kroppsdeler som 'hode', 'bryst', 'ben', etc. og se om du får et bedre resultat.

Prompt

• Sett den positive prompten ved bruk av batch formatering:
  • f.eks. '0': '4k, mesterverk, 1jente som står på stranden, absurdres', '25': 'HDR, solnedgangsscene, 1jente med svart hår og hvit jakke, absurdres', …
• Negativ prompt er normal format, legg til embeddings hvis ønskelig.

Lydbehandling

• Denne seksjonen tar inn lyd fra inngangsvideoen, ekstraherer stemmene (bass, trommer, vokal, etc.) og konverterer det deretter til en normalisert amplitude synkronisert med inngangsvideoens rammer.
• amp_control = total rekkevidde amplituden kan bevege seg.
• amp_offset = minimumsverdien amplituden kan ha.
  • Eksempel: amp_control = 0.8 og amp_offset = 0.2 betyr at signalet vil bevege seg mellom 0.2 og 1.0.
• Noen ganger inneholder trommestemmen de faktiske bassnotene fra sangen; forhåndsvis hver for å avgjøre hvilken som er best for dine masker.
• Bruk grafene for å få en klar forståelse av hvordan signalet for den stemmen endrer seg gjennom videoens varighet.

Dilate Masks

• Hver fargegruppe tilsvarer fargen på dilasjonsmasken som vil bli generert av den.
• Sett minimum og maksimum radius for dilasjonsmasken, sammen med dens form, ved hjelp av følgende node:

• form: 'sirkel' er den mest nøyaktige, men tar lengre tid å generere. Sett dette når du er klar til å utføre den endelige gjengivelsen. 'kvadrat' er rask å beregne, men mindre nøyaktig, best for å teste ut workflow og bestemme IP adapter bilder.
• max_radius: Maskradiusen i piksler når amplitudeverdien er maks (1.0).
• min_radius: Maskradiusen i piksler når amplitudeverdien er min (0.0).
• Hvis du allerede har en sammensatt maskvideo generert, kan du dempe 'Override Composite Mask' gruppen og laste den opp. Det anbefales å omgå dilasjonsmaskgruppene hvis du overstyrer for å spare på prosesseringstid.

Modeller

• Bruk en god LCM-modell for checkpoint. Jeg anbefaler ParadigmLCM av Machine Delusions.
• Slå sammen flere modeller ved å bruke Model Merge Stack for å få ulike interessante effekter. Sørg for at vektene legger opp til 1.0 for de aktiverte modellene.
• Valgfritt spesifiser AnimateLCM_sd15_t2v_lora.safetensors med en lav vekt på 0.18 for ytterligere å forbedre det endelige resultatet.
• Legg til eventuelle ekstra Loras til modellen ved å bruke Lora stackeren under modell-lasteren.

AnimateDiff

• Sett en annen Motion Lora i stedet for den jeg brukte (LiquidAF-0-1.safetensors)
• Øk/reduser Scale og Effect floats for å øke/redusere mengden bevegelse i utdataene.

IP Adapters

• Her kan du spesifisere referansebildene som vil bli brukt til å gjengi bakgrunnene for hver av dilasjonsmaskene, samt dine videoemner.
• Fargen på hver gruppe representerer masken den målretter:

Rød, Grønn, Blå:

• Emnemaskereferansebilder.

Svart:

• Bakgrunnsmaskebilde, last opp et referansebilde for bakgrunnen.

Hvit, Gul, Magenta, Cyan:

• Dilasjonsmaskereferansebilder, last opp et referansebilde for hver farge dilasjonsmaske i bruk.

ControlNet

• Denne workflowen bruker 5 forskjellige controlnets, inkludert AD, Lineart, QR Code, Depth og OpenPose.
• Alle inngangene til controlnets blir generert automatisk
• Du kan velge å overstyre inngangsvideoen for Lineart, Depth og Openpose controlnets hvis ønskelig ved å dempe 'Override' gruppene som vist nedenfor:

• Det anbefales også at du demper 'Generate' gruppene hvis du overstyrer for å spare prosesseringstid.

Tips:

• Omgå Ksampler og start en gjengivelse med din fullstendige inngangsvideo. Når alle forprosessvideoene er generert, lagre dem og last dem opp til de respektive overstyringene. Fra nå av, når du tester workflowen, vil du ikke måtte vente på at hver forprosessvideo skal genereres individuelt.

Sampler

• Som standard vil HiRes Fix sampler gruppen være dempet for å spare prosesseringstid når du tester
• Jeg anbefaler å omgå Sampler gruppen også når du prøver å eksperimentere med dilasjonsmaskinnstillingene for å spare tid.
• Ved endelige gjengivelser kan du dempe HiRes Fix gruppen som vil oppskalere og legge til detaljer til det endelige resultatet.

Utdata

• Det er to utdata grupper: den venstre er for standard sampler utdata, og den høyre er for HiRes Fix sampler utdata.

Om Forfatter

Akatz AI:

• Nettsted:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakter:

• E-post: akatz.hello@gmail.com