MimicMotion | Generering av Mänskliga Rörelsevideor

Vad är MimicMotion

MimicMotion är en kontrollerbar videogenereringsram utvecklad av forskare vid Tencent och Shanghai Jiao Tong University. Den kan generera högkvalitativa videor av godtycklig längd efter någon given rörelseledning. Jämfört med tidigare metoder utmärker sig MimicMotion i att producera videor med rika detaljer, god temporal jämnhet och förmågan att generera långa sekvenser.

Hur MimicMotion Fungerar

MimicMotion tar en referensbild och poseringsledning som ingångar. Den genererar sedan en video som matchar referensbildens utseende samtidigt som den följer den givna rörelsesekvensen.

Några viktiga innovationer möjliggör MimicMotion's starka prestanda:

1. Självförtroende-medveten poseringsledning: Genom att inkorporera poseringsförtroendeinformation uppnår MimicMotion bättre temporal jämnhet och är mer robust mot brusiga träningsdata. Detta hjälper den att generalisera väl.
2. Regional förlustförstärkning: Genom att fokusera förlusten mer på högförtroende poseringsområden, särskilt händerna, minskas bildförvrängningen i de genererade videorna avsevärt.
3. Progressiv latent fusion: För att generera smidiga, långa videor effektivt, genererar MimicMotion videosegment med överlappande ramar och smälter successivt samman deras latenta representationer. Detta möjliggör generering av videor av godtycklig längd med kontrollerad beräkningskostnad.

Modellen förtränas först på stora videodatamängder, sedan finjusteras den för rörelseimiteringsuppgiften. Denna effektiva träningspipeline kräver inte massiva mängder specialiserade data.

Hur man Använder ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Efter att ha testat olika MimicMotion-noder tillgängliga i ComfyUI, rekommenderar vi att använda för bästa resultat.

Steg 1: Förbereda Din Ingång för MimicMotion

För att börja animera med ComfyUI MimicMotion, behöver du två viktiga ingredienser:

• En referensbild: Detta är den initiala ramen som fungerar som startpunkt för din animation. Välj en bild som tydligt visar det ämne du vill animera.
• Posebilder: Dessa är bilderna som definierar rörelsesekvensen. Varje posebild ska visa den önskade positionen eller posen för ditt ämne vid en specifik punkt i animationen. Du kan skapa dessa posebilder manuellt eller använda pose-estimeringsverktyg för att extrahera poser från en video.

🌟Se till att din referensbild och posebilder har samma upplösning och bildförhållande för optimala resultat.🌟

Steg 2: Ladda MimicMotion-modellen

ComfyUI MimicMotion kräver MimicMotion-modellen för att fungera korrekt. I RunComfy är modellen redan förladdad för din bekvämlighet. För att konfigurera "DownLoadMimicMotionModel"-noden, följ dessa steg:

• Ställ in "model"-parametern till "MimicMotion-fp16.safetensors" (eller det lämpliga modellfilnamnet, om annorlunda).
• Välj önskad precision (fp32, fp16 eller bf16) baserat på dina GPU-kapaciteter. Detta val kan påverka prestanda och kompatibilitet.
• Lämna "lcm"-parametern inställd på False, om du inte specifikt vill använda LCM (Latent Conditional Motion)-varianten av modellen.

När du har konfigurerat nodinställningarna, anslut utgången av "DownloadAndLoadMimicMotionModel"-noden till ingången av nästa nod i ditt arbetsflöde. Detta kommer att säkerställa att den laddade MimicMotion-modellen används korrekt i de efterföljande stegen i din ComfyUI-pipeline.

Steg 3: Konfigurera MimicMotion Samplern

"MimicMotionSampler"-noden ansvarar för att generera de animerade ramarna baserat på din ingång. Så här ställer du in den:

• Lägg till "MimicMotionSampler"-noden och anslut den till utgången av "DownloadAndLoadMimicMotionModel"-noden.
• Ställ in "ref_image"-parametern till din referensbild och "pose_images"-parametern till din sekvens av posebilder.
• Justera samplingsinställningarna enligt dina preferenser:
  • "steps" bestämmer antalet diffusionsteg (högre värden leder till smidigare resultat men längre bearbetningstider).
  • "cfg_min" och "cfg_max" styr styrkan i den villkorliga ledningen (högre värden följer närmare posebilderna).
  • "seed" ställer in det slumpmässiga fröet för reproducerbarhet.
  • "fps" specificerar bildrutor per sekund för den genererade animationen.
  • Finjustera ytterligare parametrar som "noise_aug_strength", "context_size" och "context_overlap" för att experimentera med olika stilar och temporal koherens.

Steg 4: Avkoda de Latenta Proverna

"MimicMotionSampler"-noden ger latenta rymdrepresentationer av de animerade ramarna. För att konvertera dessa latenter till faktiska bilder behöver du använda "MimicMotionDecode"-noden:

• Lägg till "MimicMotionDecode"-noden och anslut den till utgången av "MimicMotionSampler"-noden.
• Ställ in "decode_chunk_size"-parametern för att styra antalet ramar som avkodas samtidigt (högre värden kan förbruka mer GPU-minne). Utgången av "MimicMotionDecode"-noden kommer att vara de slutliga animerade ramarna i bildformat.

Steg 5: Förbättra Poser med MimicMotionGetPoses

Om du vill visualisera de extraherade poserna tillsammans med din referensbild kan du använda "MimicMotionGetPoses"-noden:

• Anslut "ref_image" och "pose_images" till "MimicMotionGetPoses"-noden.
• Ställ in "include_body", "include_hand" och "include_face"-parametrarna för att styra vilka pose-nyckelpunkter som visas. Utgången kommer att inkludera referensbilden med den extraherade posen och de individuella posebilderna.

Tips och Bästa Praxis

Här är några tips för att hjälpa dig få ut det mesta av ComfyUI MimicMotion:

• Experimentera med olika referensbilder och pose-sekvenser för att skapa en mängd olika animationer.
• Justera samplingsinställningarna för att balansera kvalitet och bearbetningstid baserat på dina behov.
• Använd högkvalitativa, konsekventa posebilder för bästa resultat. Undvik drastiska förändringar i perspektiv eller belysning mellan poser.
• Övervaka din GPU-minnesanvändning, särskilt när du arbetar med högupplösta bilder eller långa animationer.
• Utnyttja "DiffusersScheduler"-noden för att anpassa brusplaneringen för unika effekter.

ComfyUI MimicMotion är ett kraftfullt och mångsidigt verktyg som gör det möjligt för dig att enkelt skapa fantastiska animationer. Genom att förstå arbetsflödet och utforska de olika parametrarna kommer du att kunna animera vem som helst med lätthet. När du fördjupar dig i animationens värld, kom ihåg att experimentera, iterera och ha kul genom hela processen. Med ComfyUI MimicMotion är möjligheterna oändliga, så njut av att förverkliga dina kreativa visioner!