MimicMotion | Human Motion Video Generatie

Wat is MimicMotion

MimicMotion is een beheersbaar videogeneerframework ontwikkeld door onderzoekers bij Tencent en Shanghai Jiao Tong University. Het kan hoogwaardige video's van willekeurige lengte genereren volgens elke gegeven bewegingsbegeleiding. In vergelijking met eerdere methoden blinkt MimicMotion uit in het produceren van video's met rijke details, goede temporele vloeiendheid en de mogelijkheid om lange sequenties te genereren.

Hoe MimicMotion Werkt

MimicMotion neemt een referentiebeeld en posebegeleiding als input. Het genereert vervolgens een video die overeenkomt met het uiterlijk van het referentiebeeld terwijl het de gegeven bewegingssequentie volgt.

Een paar belangrijke innovaties maken de sterke prestaties van MimicMotion mogelijk:

1. Vertrouwensbewuste posebegeleiding: Door posevertrouwensinformatie op te nemen, bereikt MimicMotion betere temporele vloeiendheid en is het robuuster tegen luidruchtige trainingsgegevens. Dit helpt het goed te generaliseren.
2. Regionale verliesversterking: Door het verlies zwaarder te focussen op hoogvertrouwen posegebieden, vooral de handen, wordt beeldvervorming in de gegenereerde video's aanzienlijk verminderd.
3. Progressieve latente fusie: Om soepel, lange video's efficiënt te genereren, genereert MimicMotion videosegmenten met overlappende frames en fuseert hun latente representaties progressief. Dit maakt het mogelijk om video's van willekeurige lengte te genereren met gecontroleerde rekencapaciteit.

Het model wordt eerst voorgetraind op grote videodatasets en vervolgens verfijnd voor de bewegingsnabootstaak. Deze efficiënte trainingspipeline vereist geen enorme hoeveelheden gespecialiseerde data.

Hoe ComfyUI MimicMotion te Gebruiken (ComfyUI-MimicMotionWrapper)

Na het testen van verschillende MimicMotion-nodes beschikbaar in ComfyUI, raden we aan om te gebruiken voor de beste resultaten.

Stap 1: Uw Input Voorbereiden voor MimicMotion

Om te beginnen met animeren met ComfyUI MimicMotion, heeft u twee belangrijke ingrediënten nodig:

• Een referentiebeeld: Dit is het startframe dat dient als beginpunt voor uw animatie. Kies een afbeelding die duidelijk het onderwerp weergeeft dat u wilt animeren.
• Poseafbeeldingen: Dit zijn de afbeeldingen die de bewegingssequentie definiëren. Elke poseafbeelding moet de gewenste positie of pose van uw onderwerp op een specifiek punt in de animatie weergeven. U kunt deze poseafbeeldingen handmatig maken of pose-estimatiehulpmiddelen gebruiken om poses uit een video te extraheren.

🌟Zorg ervoor dat uw referentiebeeld en poseafbeeldingen dezelfde resolutie en beeldverhouding hebben voor optimale resultaten.🌟

Stap 2: Het Laden van het MimicMotion Model

ComfyUI MimicMotion vereist het MimicMotion model om goed te functioneren. In RunComfy is het model al voor uw gemak vooraf geladen. Om de "DownLoadMimicMotionModel" node te configureren, volgt u deze stappen:

• Stel de parameter "model" in op "MimicMotion-fp16.safetensors" (of de juiste modelbestandsnaam, indien anders).
• Selecteer de gewenste precisie (fp32, fp16 of bf16) op basis van de mogelijkheden van uw GPU. Deze keuze kan de prestaties en compatibiliteit beïnvloeden.
• Laat de parameter "lcm" ingesteld op False, tenzij u specifiek de LCM (Latent Conditional Motion) variant van het model wilt gebruiken.

Zodra u de nodesettings heeft geconfigureerd, verbindt u de output van de "DownloadAndLoadMimicMotionModel" node met de input van de volgende node in uw workflow. Dit zorgt ervoor dat het geladen MimicMotion model correct wordt gebruikt in de volgende stappen van uw ComfyUI-pipeline.

Stap 3: Het Configureren van de MimicMotion Sampler

De "MimicMotionSampler" node is verantwoordelijk voor het genereren van de geanimeerde frames op basis van uw input. Hier is hoe u het instelt:

• Voeg de "MimicMotionSampler" node toe en verbind deze met de output van de "DownloadAndLoadMimicMotionModel" node.
• Stel de parameter "ref_image" in op uw referentiebeeld en de parameter "pose_images" op uw sequentie van poseafbeeldingen.
• Pas de bemonsteringsinstellingen aan volgens uw voorkeuren:
  • "steps" bepaalt het aantal diffusie stappen (hogere waarden leiden tot vloeiendere resultaten maar langere verwerkingstijden).
  • "cfg_min" en "cfg_max" regelen de sterkte van de conditionele begeleiding (hogere waarden houden zich nauwer aan de poseafbeeldingen).
  • "seed" stelt de willekeurige zaadwaarde in voor reproduceerbaarheid.
  • "fps" specificeert de frames per seconde van de gegenereerde animatie.
  • Fijn afstemmen van aanvullende parameters zoals "noise_aug_strength", "context_size" en "context_overlap" om te experimenteren met verschillende stijlen en temporele samenhang.

Stap 4: Het Decoderen van de Latente Monsters

De "MimicMotionSampler" node produceert latente ruimterepresentaties van de geanimeerde frames. Om deze latenten om te zetten in daadwerkelijke afbeeldingen, moet u de "MimicMotionDecode" node gebruiken:

• Voeg de "MimicMotionDecode" node toe en verbind deze met de output van de "MimicMotionSampler" node.
• Stel de parameter "decode_chunk_size" in om het aantal frames te regelen dat tegelijkertijd wordt gedecodeerd (hogere waarden kunnen meer GPU-geheugen verbruiken). De output van de "MimicMotionDecode" node zullen de uiteindelijke geanimeerde frames in afbeeldingsformaat zijn.

Stap 5: Het Verbeteren van Poses met MimicMotionGetPoses

Als u de geëxtraheerde poses samen met uw referentiebeeld wilt visualiseren, kunt u de "MimicMotionGetPoses" node gebruiken:

• Verbind de "ref_image" en "pose_images" met de "MimicMotionGetPoses" node.
• Stel de parameters "include_body", "include_hand" en "include_face" in om te bepalen welke pose-sleutelpunten worden weergegeven. De output zal het referentiebeeld met de geëxtraheerde pose en de individuele poseafbeeldingen bevatten.

Tips en Beste Praktijken

Hier zijn enkele tips om het meeste uit ComfyUI MimicMotion te halen:

• Experimenteer met verschillende referentiebeelden en pose sequenties om een verscheidenheid aan animaties te maken.
• Pas de bemonsteringsinstellingen aan om de balans tussen kwaliteit en verwerkingstijd te vinden op basis van uw behoeften.
• Gebruik hoogwaardige, consistente poseafbeeldingen voor de beste resultaten. Vermijd drastische veranderingen in perspectief of verlichting tussen poses.
• Houd uw GPU-geheugengebruik in de gaten, vooral bij het werken met afbeeldingen met hoge resolutie of lange animaties.
• Maak gebruik van de "DiffusersScheduler" node om de ruisplanning aan te passen voor unieke effecten.

ComfyUI MimicMotion is een krachtig en veelzijdig hulpmiddel waarmee u moeiteloos verbluffende animaties kunt maken. Door de workflow te begrijpen en de verschillende parameters te verkennen, kunt u iedereen gemakkelijk animeren. Terwijl u zich verdiept in de wereld van animatie, onthoud dan om te experimenteren, itereren en plezier te hebben tijdens het proces. Met ComfyUI MimicMotion zijn de mogelijkheden eindeloos, dus geniet van het tot leven brengen van uw creatieve visies!