LivePortrait | Animerade Porträtt | Vid2Vid

Tack vare  nod och arbetsflöde är det nu enklare att skapa realistiska LivePortrait animationer i ComfyUI. Följande är en genomgång av nyckelkomponenterna och parametrarna i hans arbetsflöde.

Vänligen läs beskrivningen av först för att förstå arbetsflödesstegen. Efter att ha bekantat dig med LivePortrait Img2Vid-processen kommer du att märka några små förändringar mellan LivePortrait Vid2Vid och Img2Vid arbetsflöden.

Skillnaden mellan ComfyUI LivePortrait Vid2Vid och Img2Vid

1. Ladda videor med "VHS_LoadVideo" istället för bilder

• I detta LivePortrait Img2Vid arbetsflöde laddar du en statisk bild som källan med hjälp av "LoadImage" noden. Men i Vid2Vid arbetsflödet måste du ladda en video som källan istället. Justera "frame_load_cap" för att kontrollera hur många ramar som laddas.
• Ändra storlek på källvideon till en högre upplösning som 1024x1024 för bättre kvalitet. Efter att ha laddat källvideon med "VHS_LoadVideo", använd "ImageResizeKJ" noden för att skala upp ramarna till en upplösning som 1024x1024. Detta hjälper till att bibehålla skärpan och detaljrikedomen i den slutliga outputen. När du arbetar med videor rekommenderas det att använda en högre upplösning för källan jämfört med Img2Vid arbetsflödet. Medan 512x512 ofta är tillräckligt för statiska bilder, gynnas videor av högre upplösningar för att bevara detaljer och kvalitet.
• Styrvideoramarna kan fortfarande ändras till en lägre upplösning som 480x480 för att spara bearbetningstid, eftersom de bara tillhandahåller rörelseinformation.

2. Använd "source_video_smoothed" relativt rörelseläge för smidigare LivePortrait Vid2Vid resultat

• "LivePortraitProcess" noden har en "relative_motion_mode" parameter som styr hur rörelsen överförs från styrvideon till källan. För Vid2Vid rekommenderas det att använda "source_video_smoothed" läget.
• I detta läge jämnas LivePortrait-rörelsen ut över tiden baserat på ingångsvideon, vilket hjälper till att skapa mer temporärt sammanhängande och stabila resultat. Detta är särskilt viktigt för videor, där plötsliga hopp eller skakningar i rörelsen kan vara mer märkbara än i enstaka bilder.
• Andra rörelselägen som "relative" eller "single_frame" kan fungera bättre för Img2Vid, men "source_video_smoothed" är vanligtvis det bästa valet för Vid2Vid.

3. Anslut källvideons FPS och ljud till "VHS_VideoCombine" för att bibehålla ljudsynkronisering för LivePortrait Vid2Vid

• När du skapar den slutliga outputvideon med "VHS_VideoCombine" noden är det viktigt att bibehålla ljudsynkronisering med videoramarna. Detta innebär två viktiga anslutningar:
• Först, anslut källvideons ljud till "audio" ingången på "VHS_VideoCombine" med hjälp av en "Reroute" nod. Detta kommer att säkerställa att original ljudet används i outputvideon.
• För det andra, anslut källvideons bildhastighet (FPS) till "frame_rate" ingången på "VHS_VideoCombine". Du kan få FPS med hjälp av "VHS_VideoInfo" noden, som extraherar metadata från källvideon. Detta kommer att säkerställa att outputvideon matchar tidpunkten för källan.
• Genom att noggrant hantera ljudet och bildhastigheten kan du skapa en LivePortrait Vid2Vid output som bibehåller korrekt synkronisering och timing, vilket är avgörande för ett realistiskt och sevärt resultat.