MimicMotion | Generering av Menneskelig Bevegelsesvideo

Hva er MimicMotion

MimicMotion er et kontrollerbart videogenereringsrammeverk utviklet av forskere ved Tencent og Shanghai Jiao Tong University. Det kan generere høykvalitetsvideoer av vilkårlig lengde etter enhver gitt bevegelsesveiledning. Sammenlignet med tidligere metoder utmerker MimicMotion seg i å produsere videoer med rike detaljer, god tidsmessig jevnhet og evnen til å generere lange sekvenser.

Hvordan MimicMotion Fungerer

MimicMotion tar et referansebilde og poseringsveiledning som input. Det genererer deretter en video som matcher referansebildets utseende, samtidig som det følger den gitte bevegelsessekvensen.

Noen nøkkelinnovasjoner muliggjør MimicMotions sterke ytelse:

1. Tillitsbevisst poseringsveiledning: Ved å inkorporere tillitsinformasjon for posering oppnår MimicMotion bedre tidsmessig jevnhet og er mer robust mot støyende treningsdata. Dette hjelper det å generalisere godt.
2. Regional tapforsterkning: Fokusering av tapet mer på høy tillitsposisjonsregioner, spesielt hendene, reduserer betydelig bildedistorsjon i de genererte videoene.
3. Progressiv latent fusjon: For å generere jevne, lange videoer effektivt, genererer MimicMotion videosegmenter med overlappende rammer og fusjonerer gradvis deres latente representasjoner. Dette tillater generering av videoer av vilkårlig lengde med kontrollert beregningskostnad.

Modellen trenes først på store videodatasett, deretter finjusteres for bevegelsesimiteringsoppgaven. Denne effektive treningspipen krever ikke massive mengder spesialisert data.

Hvordan Bruke ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Etter å ha testet forskjellige MimicMotion-noder tilgjengelige i ComfyUI, anbefaler vi å bruke for de beste resultatene.

Trinn 1: Forberede Dine Inndata for MimicMotion

For å begynne å animere med ComfyUI MimicMotion, trenger du to hovedingredienser:

• Et referansebilde: Dette er den innledende rammen som fungerer som utgangspunkt for din animasjon. Velg et bilde som tydelig viser emnet du vil animere.
• Posebilder: Dette er bildene som definerer bevegelsessekvensen. Hvert posebilde bør vise ønsket posisjon eller pose av emnet ditt på et spesifikt punkt i animasjonen. Du kan lage disse posebildene manuelt eller bruke poseestimeringsverktøy for å trekke ut poseringer fra en video.

🌟Sørg for at ditt referansebilde og posebilder har samme oppløsning og sideforhold for optimale resultater.🌟

Trinn 2: Laste MimicMotion Modellen

ComfyUI MimicMotion krever MimicMotion-modellen for å fungere riktig. I RunComfy er modellen allerede forhåndslastet for din bekvemmelighet. For å konfigurere "DownLoadMimicMotionModel"-noden, følg disse trinnene:

• Sett "model"-parameteren til "MimicMotion-fp16.safetensors" (eller det aktuelle modellfilnavnet, hvis forskjellig).
• Velg ønsket presisjon (fp32, fp16 eller bf16) basert på dine GPU-kapasiteter. Dette valget kan påvirke ytelse og kompatibilitet.
• La "lcm"-parameteren være satt til False, med mindre du spesifikt vil bruke LCM (Latent Conditional Motion)-varianten av modellen.

Når du har konfigurert nodeinnstillingene, koble utgangen av "DownloadAndLoadMimicMotionModel"-noden til inngangen til neste node i din arbeidsflyt. Dette vil sikre at den lastede MimicMotion-modellen blir riktig brukt i de påfølgende trinnene i din ComfyUI-pipeline.

Trinn 3: Konfigurere MimicMotion Sampleren

"MimicMotionSampler"-noden er ansvarlig for å generere de animerte rammene basert på dine inndata. Slik setter du den opp:

• Legg til "MimicMotionSampler"-noden og koble den til utgangen av "DownloadAndLoadMimicMotionModel"-noden.
• Sett "ref_image"-parameteren til ditt referansebilde og "pose_images"-parameteren til din sekvens av posebilder.
• Juster samplingsinnstillingene i henhold til dine preferanser:
  • "steps" bestemmer antall diffusjonstrinn (høyere verdier gir jevnere resultater, men lengre behandlingstider).
  • "cfg_min" og "cfg_max" kontrollerer styrken på den betingede veiledningen (høyere verdier følger posebildene tettere).
  • "seed" setter den tilfeldige frøverdien for reproducerbarhet.
  • "fps" spesifiserer antall bilder per sekund i den genererte animasjonen.
  • Finjuster tilleggsparemeter som "noise_aug_strength", "context_size" og "context_overlap" for å eksperimentere med forskjellige stiler og tidsmessig sammenheng.

Trinn 4: Dekoding av Latente Prøver

"MimicMotionSampler"-noden gir latente romrepresentasjoner av de animerte rammene. For å konvertere disse latente til faktiske bilder, må du bruke "MimicMotionDecode"-noden:

• Legg til "MimicMotionDecode"-noden og koble den til utgangen av "MimicMotionSampler"-noden.
• Sett "decode_chunk_size"-parameteren for å kontrollere antall rammer som dekodes samtidig (høyere verdier kan bruke mer GPU-minne). Utgangen av "MimicMotionDecode"-noden vil være de endelige animerte rammene i bildeformat.

Trinn 5: Forbedre Poser med MimicMotionGetPoses

Hvis du vil visualisere de uttrukne poseringene sammen med ditt referansebilde, kan du bruke "MimicMotionGetPoses"-noden:

• Koble "ref_image" og "pose_images" til "MimicMotionGetPoses"-noden.
• Sett parameterne "include_body", "include_hand" og "include_face" for å kontrollere hvilke pose nøkkelpunkter som vises. Utgangen vil inkludere referansebildet med den uttrukne poseringen og de individuelle posebildene.

Tips og Beste Praksis

Her er noen tips for å få mest mulig ut av ComfyUI MimicMotion:

• Eksperimenter med forskjellige referansebilder og poseringssekvenser for å lage en rekke animasjoner.
• Juster samplingsinnstillingene for å balansere kvalitet og behandlingstid basert på dine behov.
• Bruk høykvalitets, konsistente posebilder for best resultat. Unngå drastiske endringer i perspektiv eller belysning mellom poseringer.
• Overvåk ditt GPU-minneforbruk, spesielt når du arbeider med høyoppløselige bilder eller lange animasjoner.
• Dra nytte av "DiffusersScheduler"-noden for å tilpasse støyplanleggingen for unike effekter.

ComfyUI MimicMotion er et kraftig og allsidig verktøy som lar deg enkelt lage imponerende animasjoner. Ved å forstå arbeidsflyten og utforske de ulike parameterne, vil du kunne animere hvem som helst med letthet. Når du dykker inn i animasjonens verden, husk å eksperimentere, iterere og ha det gøy gjennom hele prosessen. Med ComfyUI MimicMotion er mulighetene uendelige, så nyt å bringe dine kreative visjoner til live!