MimicMotion | Human Motion Video Generation

Hvad er MimicMotion

MimicMotion er en kontrollerbar videogenereringsramme udviklet af forskere hos Tencent og Shanghai Jiao Tong University. Den kan generere høj-kvalitets videoer af vilkårlig længde efter enhver given bevægelsesvejledning. Sammenlignet med tidligere metoder udmærker MimicMotion sig ved at producere videoer med rige detaljer, god tidsmæssig glathed og evnen til at generere lange sekvenser.

Hvordan MimicMotion Fungerer

MimicMotion tager et referencebillede og posevejledning som input. Derefter genererer den en video, der matcher referencebilledets udseende, mens den følger den angivne bevægelsessekvens.

Nogle få nøgleinnovationer muliggør MimicMotion's stærke ydeevne:

1. Tillidsbevidst posevejledning: Ved at inkorporere posekonfidensinformation opnår MimicMotion bedre tidsmæssig glathed og er mere robust over for støjende træningsdata. Dette hjælper den med at generalisere godt.
2. Regional tabforstærkning: Ved at fokusere tabet mere kraftigt på høj-konfidens poseområder, især hænderne, reduceres billedforvrængning i de genererede videoer betydeligt.
3. Progressiv latent fusion: For at generere glidende, lange videoer effektivt, genererer MimicMotion videosegmenter med overlappende rammer og fusionerer deres latente repræsentationer progressivt. Dette muliggør generering af videoer af vilkårlig længde med kontrolleret beregningsomkostning.

Modellen er først foruddannet på store videodatasæt og derefter finjusteret til bevægelsesmimikeringsopgaven. Denne effektive træningspipeline kræver ikke massive mængder specialiserede data.

Sådan Bruges ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Efter at have testet forskellige MimicMotion noder tilgængelige i ComfyUI, anbefaler vi at bruge for de bedste resultater.

Trin 1: Forberedelse af Dit Input til MimicMotion

For at begynde at animere med ComfyUI MimicMotion, skal du bruge to nøgleingredienser:

• Et referencebillede: Dette er den indledende ramme, der fungerer som udgangspunkt for din animation. Vælg et billede, der tydeligt viser det emne, du vil animere.
• Posebilleder: Disse er billederne, der definerer bevægelsessekvensen. Hvert posebillede skal vise den ønskede position eller pose af dit emne på et specifikt tidspunkt i animationen. Du kan oprette disse posebilleder manuelt eller bruge poseestimeringsværktøjer til at udtrække poser fra en video.

🌟Sørg for, at dit referencebillede og posebilleder har samme opløsning og billedformat for optimale resultater.🌟

Trin 2: Indlæsning af MimicMotion Modellen

ComfyUI MimicMotion kræver MimicMotion modellen for at fungere korrekt. I RunComfy er modellen allerede forudindlæst for din bekvemmelighed. For at konfigurere "DownLoadMimicMotionModel" noden, følg disse trin:

• Indstil "model" parameteren til "MimicMotion-fp16.safetensors" (eller det passende modelfilnavn, hvis anderledes).
• Vælg den ønskede præcision (fp32, fp16, eller bf16) baseret på dine GPU kapaciteter. Dette valg kan påvirke ydeevne og kompatibilitet.
• Lad "lcm" parameteren være sat til False, medmindre du specifikt ønsker at bruge LCM (Latent Conditional Motion) varianten af modellen.

Når du har konfigureret nodeindstillingerne, skal du forbinde outputtet af "DownloadAndLoadMimicMotionModel" noden til inputtet af den næste node i din workflow. Dette vil sikre, at den indlæste MimicMotion model bruges korrekt i de efterfølgende trin i din ComfyUI pipeline.

Trin 3: Konfiguration af MimicMotion Sampleren

"MimicMotionSampler" noden er ansvarlig for at generere de animerede rammer baseret på dit input. Her er, hvordan du opsætter den:

• Tilføj "MimicMotionSampler" noden og forbind den til outputtet af "DownloadAndLoadMimicMotionModel" noden.
• Indstil "ref_image" parameteren til dit referencebillede og "pose_images" parameteren til din sekvens af posebilleder.
• Juster samplingsindstillingerne efter dine præferencer:
  • "steps" bestemmer antallet af diffusionstrin (højere værdier fører til glattere resultater men længere behandlingstider).
  • "cfg_min" og "cfg_max" styrer styrken af den betingede vejledning (højere værdier overholder tættere posebillederne).
  • "seed" indstiller den tilfældige frø for reproducerbarhed.
  • "fps" angiver billeder pr. sekund af den genererede animation.
  • Finjuster yderligere parametre som "noise_aug_strength", "context_size", og "context_overlap" for at eksperimentere med forskellige stilarter og tidsmæssig sammenhæng.

Trin 4: Afkodning af Latente Prøver

"MimicMotionSampler" noden outputter latente rumrepræsentationer af de animerede rammer. For at konvertere disse latenter til faktiske billeder, skal du bruge "MimicMotionDecode" noden:

• Tilføj "MimicMotionDecode" noden og forbind den til outputtet af "MimicMotionSampler" noden.
• Indstil "decode_chunk_size" parameteren til at kontrollere antallet af rammer, der afkodes samtidig (højere værdier kan forbruge mere GPU hukommelse). Outputtet af "MimicMotionDecode" noden vil være de endelige animerede rammer i billedformat.

Trin 5: Forbedring af Poser med MimicMotionGetPoses

Hvis du vil visualisere de udtrukne poser sammen med dit referencebillede, kan du bruge "MimicMotionGetPoses" noden:

• Forbind "ref_image" og "pose_images" til "MimicMotionGetPoses" noden.
• Indstil "include_body", "include_hand", og "include_face" parametrene for at kontrollere, hvilke pose nøglepunkter der vises. Outputtet vil inkludere referencebilledet med den udtrukne pose og de individuelle posebilleder.

Tips og Bedste Praksis

Her er nogle tips til at hjælpe dig med at få mest muligt ud af ComfyUI MimicMotion:

• Eksperimenter med forskellige referencebilleder og pose sekvenser for at skabe en række animationer.
• Juster samplingsindstillingerne for at balancere kvalitet og behandlingstid baseret på dine behov.
• Brug høj-kvalitets, konsistente posebilleder for de bedste resultater. Undgå drastiske ændringer i perspektiv eller belysning mellem poserne.
• Overvåg din GPU hukommelsesforbrug, især når du arbejder med højopløsningsbilleder eller lange animationer.
• Udnyt "DiffusersScheduler" noden til at tilpasse støjplanlægningen for unikke effekter.

ComfyUI MimicMotion er et kraftfuldt og alsidigt værktøj, der gør det muligt for dig at skabe fantastiske animationer uden besvær. Ved at forstå workflowet og udforske de forskellige parametre, vil du være i stand til at animere hvem som helst med lethed. Når du dykker ned i animationsverdenen, husk at eksperimentere, iterere og have det sjovt gennem hele processen. Med ComfyUI MimicMotion er mulighederne uendelige, så nyd at bringe dine kreative visioner til live!