Linear Mask Dilation | Fantastiske Animasjoner

ComfyUI Linear Mask Dilation

Lag fantastiske videoanimasjoner ved å transformere ditt motiv (danser) og la dem reise gjennom forskjellige scener via en mask dilasjonseffekt. Denne arbeidsflyten er designet for å brukes med videoer med ett enkelt motiv.

Hvordan bruke ComfyUI Linear Mask Dilation Workflow:

1. Last opp en motivvideo i Input-seksjonen
2. Velg ønsket bredde og høyde på den endelige videoen, samt hvor mange bilder av input-videoen som skal hoppes over med "every_nth". Du kan også begrense det totale antallet bilder som skal rendres med "frame_load_cap".
3. Fyll ut det positive og negative stikkordet. Sett batch bildestider til å matche når du vil at sceneskiftene skal skje.
4. Last opp bilder for hver av IP Adapter motivmaskefargene:
   1. Hvit = motiv (danser)
   2. Svart = Første bakgrunn
   3. Rød = Rød dilasjonsmaskebakgrunn
   4. Grønn = Grønn dilasjonsmaskebakgrunn
   5. Blå = Blå dilasjonsmaskebakgrunn
5. Last inn en god LCM-sjekkpunkt (jeg bruker ParadigmLCM av Machine Delusions) i "Models"-seksjonen.
   1. Legg til eventuelle loras ved å bruke Lora-stableren under modell-lasteren
6. Trykk på Queue Prompt

Input

• Du kan justere bredden, høyden ved å bruke de øverste venstre to inputene
• every_nth setter hvor mange bilder av inputen som skal hoppes over (2 = annenhvert bilde)
• Tallfeltene nederst til venstre viser informasjon om den opplastede inputvideoen: totale bilder, bredde, høyde, og FPS fra topp til bunn.
• Hvis du allerede har en maskvideo av motivet generert (må være hvitt motiv på svart bakgrunn), kan du dempe "Override Subject Mask"-seksjonen og laste opp maskvideoen. Valgfritt kan du dempe "Segment Subject"-seksjonen for å spare noe prosesseringstid.
• Noen ganger vil det segmenterte motivet ikke være perfekt, du kan sjekke maskekvaliteten ved å bruke forhåndsvisningsboksen nederst til høyre som sett ovenfor. Hvis det er tilfelle kan du leke med stikkordet i "Florence2Run"-noden for å målrette forskjellige kroppsdeler som "hode", "bryst", "ben", etc. og se om du får et bedre resultat.

Prompt

• Sett det positive stikkordet ved bruk av batch-format:
  • f.eks. "0": "4k, mesterverk, 1jente som står på stranden, absurdres", "25": "HDR, solnedgangsscene, 1jente med svart hår og en hvit jakke, absurdres", ...
• Negativt stikkord er vanlig format, du kan legge til embeddings hvis ønskelig.

Mask Dilations

• Hver fargegruppe tilsvarer fargen på dilasjonsmasken som vil bli generert av den.
• Du kan sette formen på masken, sammen med hastigheten på dilasjonen og bildets forsinkelse med følgende node:
  • form: "sirkel" er den mest nøyaktige, men tar lengre tid å generere. Sett dette når du er klar til å utføre den endelige rendringen. "firkant" er rask å beregne, men mindre nøyaktig, best for å teste arbeidsflyten og bestemme IP adapter-bilder.
  • dilate_per_frame: Hvor raskt masken skal dilatere, større tall = raskere dilasjonshastighet
  • delay: Hvor mange bilder man skal vente før masken begynner å dilatere.
• Hvis du allerede har en sammensatt maskvideo generert, kan du dempe "Override Composite Mask"-gruppen og laste den opp. Det anbefales å omgå dilasjonsmaskegruppene hvis man overstyrer for å spare prosesseringstid.

Models

• Bruk en god LCM-modell til sjekkpunktet. Jeg anbefaler ParadigmLCM av Machine Delusions.
• Du kan valgfritt spesifisere AnimateLCM_sd15_t2v_lora.safetensors med en lav vekt på 0.18 for å ytterligere forbedre det endelige resultatet.
• Legg til eventuelle ekstra Loras til modellen ved å bruke den blå Lora-stableren under modell-lasteren.

AnimateDiff

• Du kan sette en annen Motion Lora i stedet for den jeg brukte (LiquidAF-0-1.safetensors)
• Juster Multival Dynamic float-verdien høyere eller lavere avhengig av om du vil at resultatet skal ha mer eller mindre bevegelse.

IP Adapters

• Her kan du spesifisere referansemotiver som vil bli brukt til å rendere bakgrunnene for hver av dilasjonsmaskene, samt ditt videomotiv.
• Fargen på hver gruppe representerer masken den retter seg mot:
  • Hvit = motiv (danser)
  • Svart = Første bakgrunn
  • Rød = Rød dilasjonsmaskebakgrunn
  • Grønn = Grønn dilasjonsmaskebakgrunn
  • Blå = Blå dilasjonsmaskebakgrunn
• Hvis du vil at den endelige rendringen skal følge input IP adapter-bildene nærmere, kan du endre IPAdapter-preset fra VIT-G til PLUS i IPA Unified Loader-gruppen.

ControlNet

• Denne arbeidsflyten bruker 5 forskjellige controlnets, inkludert AD, Lineart, QR Code, Depth, og OpenPose.
• Alle inputene til controlnets genereres automatisk
• Du kan velge å overstyre inputvideoen for Depth og Openpose controlnets hvis ønskelig ved å dempe "Override Depth" og "Override Openpose"-gruppene som sett nedenfor:

• Det anbefales at du demper "Generate Depth" og "Generate Openpose"-gruppene hvis du overstyrer for å spare prosesseringstid.

Sampler

• Som standard vil HiRes Fix sampler-gruppen være dempet for å spare prosesseringstid ved testing
• Jeg anbefaler å omgå Sampler-gruppen også når du eksperimenterer med dilasjonsmaskinnstillinger for å spare tid.
• Ved endelige rendringer kan du dempe HiRes Fix-gruppen som vil oppskalere og legge til detaljer i det endelige resultatet.

Output

• Det er to output-grupper: venstre er for standard sampler-output, og høyre er for HiRes Fix sampler-output.
• Du kan endre hvor filer skal lagres ved å endre "custom_directory"-strengen i "FileNamePrefixDateDirFirst"-nodene. Som standard vil denne noden lagre output-videoer i en tidsstemplet katalog i ComfyUI "output"-katalogen
  • f.eks. .../ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

Om Forfatteren

Akatz AI:

• Nettsted:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Kontakter:

• E-post: akatzfey@sendysoftware.com