Audioreactive Mask Dilation | Fantastiske Animationer

Skab fantastiske videoanimationer ved at transformere dit emne (f.eks. en danser) med en dynamisk aura, der rytmisk udvider og trækker sig sammen i takt med rytmen. Brug denne workflow med enkeltstående emner eller flere emner som vist i eksemplerne.

Sådan bruger du Audioreactive Mask Dilation Workflow:

1. Upload en emnevideo i Input sektionen
2. Vælg den ønskede bredde og højde for den endelige video, samt hvor mange frames fra inputvideoen der skal springes over med 'every_nth'. Du kan også begrænse det samlede antal frames, der skal gengives med 'frame_load_cap'.
3. Udfyld den positive og negative prompt. Indstil batch frame tider til at matche, hvornår du ønsker, at sceneovergange skal finde sted.
4. Upload billeder til hver af de standard IP Adapter emnemaske farver:
   1. Rød = emne (danser)
   2. Sort = Baggrund
   3. Hvid = Hvid audioreaktiv dilationsmaske
5. Indlæs en god LCM checkpoint (jeg bruger ParadigmLCM af Machine Delusions) i 'Models' sektionen.
   1. Tilføj eventuelle loras ved hjælp af Lora stacker under model loaderen
6. Tryk på Queue Prompt

Input

• Upload din ønskede emnevideo til Load Video (Upload) noden.
• Juster outputbredde og -højde ved hjælp af de to øverste venstre input.
• every_nth indstiller, om hver anden frame, hver tredje frame osv. skal bruges (2 = hver anden frame). Standardindstilling er 1.
• skip_frames bruges til at springe frames over i videoens begyndelse. (100 = spring de første 100 frames fra inputvideoen over). Standardindstilling er 0.
• frame_load_cap bruges til at specificere, hvor mange samlede frames fra inputvideoen der skal indlæses. Bedst at holde lavt, når du tester indstillinger (30 - 60 for eksempel) og derefter øge eller sætte til 0 (ingen frame cap) ved gengivelse af den endelige video.
• Nummerfelterne nederst til højre viser information om den uploadede inputvideo: samlede frames, bredde, højde og FPS fra top til bund.
• Hvis du allerede har en maskevideo af emnet genereret, kan du fjerne muting fra 'Upload Subject Mask' sektionen og uploade maskevideoen. Valgfrit kan du mute 'Segment Dancer' sektionen for at spare noget behandlingstid.
• Nogle gange vil det segmenterede emne ikke være perfekt, så tjek maskekvaliteten ved hjælp af forhåndsvisningsboksen nederst til højre som vist ovenfor. Hvis det er tilfældet, kan du lege med prompten i 'Florence2Run' noden for at målrette forskellige kropsdele som 'hoved', 'bryst', 'ben' osv. og se, om du får et bedre resultat.

Prompt

• Indstil den positive prompt ved hjælp af batchformatering:
  • f.eks. '0': '4k, mesterværk, 1 pige står på stranden, absurdres', '25': 'HDR, solnedgangsscene, 1 pige med sort hår og en hvid jakke, absurdres', …
• Negativ prompt er normal format, tilføj embeddings hvis ønsket.

Lydbehandling

• Denne sektion tager lyd fra inputvideoen, udtrækker stammerne (bas, trommer, vokaler osv.) og konverterer det derefter til en normaliseret amplitude synkroniseret med inputvideoens frames.
• amp_control = det samlede område, amplituden kan bevæge sig.
• amp_offset = den minimale værdi, amplituden kan tage.
  • Eksempel: amp_control = 0.8 og amp_offset = 0.2 betyder, at signalet vil bevæge sig mellem 0.2 og 1.0.
• Nogle gange indeholder trommestammen de faktiske basnoter fra sangen; forhåndsvis hver for at afgøre, hvilken der er bedst til dine masker.
• Brug graferne til at få en klar forståelse af, hvordan signalet for den stamme ændrer sig gennem videoens varighed.

Dilate Masks

• Hver farvede gruppe svarer til farven på dilationsmasken, der vil blive genereret af den.
• Indstil min og max radius for dilationsmasken sammen med dens form ved hjælp af følgende node:

• form: 'cirkel' er den mest nøjagtige, men tager længere tid at generere. Indstil dette, når du er klar til at udføre den endelige rendering. 'firkant' er hurtig at beregne, men mindre nøjagtig, bedst til at teste workflowet og beslutte IP adapter billeder.
• max_radius: Maskens radius i pixels, når amplitudeværdien er max (1.0).
• min_radius: Maskens radius i pixels, når amplitudeværdien er min (0.0).
• Hvis du allerede har en sammensat maskevideo genereret, kan du fjerne muting fra 'Override Composite Mask' gruppen og uploade den. Det anbefales at omgå dilationsmaskegrupperne, hvis du overskrider for at spare behandlingstid.

Modeller

• Brug en god LCM model til checkpoint. Jeg anbefaler ParadigmLCM af Machine Delusions.
• Flet flere modeller sammen ved hjælp af Model Merge Stack for at få forskellige interessante effekter. Sørg for, at vægtene tilsammen udgør 1.0 for de aktiverede modeller.
• Valgfrit kan du specificere AnimateLCM_sd15_t2v_lora.safetensors med en lav vægt på 0.18 for yderligere at forbedre det endelige resultat.
• Tilføj eventuelle yderligere Loras til modellen ved hjælp af Lora stacker under modelladeren.

AnimateDiff

• Indstil en anden Motion Lora i stedet for den, jeg brugte (LiquidAF-0-1.safetensors)
• Øg/formindsk Scale og Effect floats for at øge/formindsk mængden af bevægelse i output.

IP Adapters

• Her kan du specificere referencebillederne, der vil blive brugt til at gengive baggrunde for hver af dilationsmaskerne samt dine videoemner.
• Farven på hver gruppe repræsenterer masken, den målretter:

Rød, Grøn, Blå:

• Emnemaske referencebilleder.

Sort:

• Baggrundsmaske billede, upload et referencebillede til baggrunden.

Hvid, Gul, Magenta, Cyan:

• Dilationsmaske referencebilleder, upload et referencebillede til hver farve dilationsmaske i brug.

ControlNet

• Denne workflow gør brug af 5 forskellige controlnets, herunder AD, Lineart, QR Code, Depth og OpenPose.
• Alle input til controlnets genereres automatisk
• Du kan vælge at overskrive inputvideoen til Lineart, Depth og Openpose controlnets, hvis ønsket ved at fjerne muting fra 'Override ' grupperne som vist nedenfor:

• Det anbefales også at mute 'Generate' grupperne, hvis du overskriver for at spare behandlingstid.

Tip:

• Omgå Ksampler og start en rendering med din fulde inputvideo. Når alle forbehandlingsvideoer er genereret, gem dem og upload dem til de respektive overrides. Fra nu af, når du tester workflowet, behøver du ikke vente på, at hver forbehandlingsvideo genereres individuelt.

Sampler

• Som standard vil HiRes Fix sampler gruppen være muted for at spare behandlingstid, når du tester
• Jeg anbefaler også at omgå Sampler gruppen, når du eksperimenterer med dilationsmaskens indstillinger for at spare tid.
• Ved endelige rendering kan du fjerne muting fra HiRes Fix gruppen, som vil opskalere og tilføje detaljer til det endelige resultat.

Output

• Der er to output grupper: den venstre er til standard sampler output, og den højre er til HiRes Fix sampler output.

Om Forfatteren

Akatz AI:

• Website:
• http://patreon.com/Akatz
• https://civitai.com/user/akatz
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakter:

• Email: akatz.hello@gmail.com