LivePortrait | Animer Portrætter | Vid2Vid

Takket være  node og workflow er det nu lettere at skabe realistiske LivePortrait animationer i ComfyUI. Følgende er en oversigt over nøglekomponenterne og parametrene i hans workflow.

Læs venligst først beskrivelsen af for at forstå workflow-trinnene. Efter at have sat dig ind i LivePortrait Img2Vid-processen, vil du bemærke nogle små ændringer mellem LivePortrait Vid2Vid og Img2Vid workflows.

Forskellen mellem ComfyUI LivePortrait Vid2Vid og Img2Vid

1. Indlæs videoer ved hjælp af "VHS_LoadVideo" i stedet for billeder

• I dette LivePortrait Img2Vid workflow indlæser du et statisk billede som kilde ved hjælp af "LoadImage" noden. Men i Vid2Vid workflow skal du i stedet indlæse en video som kilde. Juster "frame_load_cap" for at kontrollere, hvor mange billeder der indlæses.
• Skaler kildevideoen til en højere opløsning som 1024x1024 for bedre kvalitet. Efter indlæsning af kildevideoen med "VHS_LoadVideo" skal du bruge "ImageResizeKJ" noden for at opskalere billederne til en opløsning som 1024x1024. Dette vil hjælpe med at bevare skarphed og detaljer i det endelige output. Når du arbejder med videoer, anbefales det at bruge en højere opløsning for kilden sammenlignet med Img2Vid workflow. Mens 512x512 ofte er tilstrækkelig for statiske billeder, drager videoer fordel af højere opløsninger for at bevare detaljer og kvalitet.
• Drivervideoens billeder kan stadig skaleres til en lavere opløsning som 480x480 for at spare behandlingstid, da de kun giver bevægelsesinformation.

2. Brug "source_video_smoothed" relativ bevægelsestilstand for glattere LivePortrait Vid2Vid resultater

• "LivePortraitProcess" noden har en parameter "relative_motion_mode" der styrer, hvordan bevægelse overføres fra drivervideoen til kilden. For Vid2Vid anbefales det at bruge "source_video_smoothed" tilstanden.
• I denne tilstand udglattes LivePortrait bevægelsen over tid baseret på inputvideoen, hvilket hjælper med at skabe mere tidsmæssigt sammenhængende og stabile resultater. Dette er især vigtigt for videoer, hvor pludselige spring eller rystelser i bevægelse kan være mere synlige end i enkeltbilleder.
• Andre bevægelsestilstande som "relative" eller "single_frame" kan fungere bedre for Img2Vid, men "source_video_smoothed" er typisk det bedste valg for Vid2Vid.

3. Forbind kildevideoens FPS og lyd til "VHS_VideoCombine" for at opretholde lydsynkronisering for LivePortrait Vid2Vid

• Når du skaber den endelige outputvideo med "VHS_VideoCombine" noden, er det vigtigt at opretholde lydsynkronisering med videobillederne. Dette involverer to nøgleforbindelser:
• For det første skal du forbinde kildevideoens lyd til "audio" input af "VHS_VideoCombine" ved hjælp af en "Reroute" node. Dette vil sikre, at den originale lyd bruges i outputvideoen.
• For det andet skal du forbinde kildevideoens billedfrekvens (FPS) til "frame_rate" input af "VHS_VideoCombine". Du kan få FPS ved hjælp af "VHS_VideoInfo" noden, som udtrækker metadata fra kildevideoen. Dette vil sikre, at outputvideoen matcher tidstagningen af kilden.
• Ved nøje håndtering af lyd og billedfrekvens kan du skabe en LivePortrait Vid2Vid output, der opretholder korrekt synkronisering og timing, hvilket er afgørende for et realistisk og se-værdigt resultat.