LivePortrait | Animer Portretter | Vid2Vid

Takket være  node og arbeidsflyt, er det nå enklere å lage realistiske LivePortrait-animasjoner i ComfyUI. Følgende er en oversikt over nøkkelkomponentene og parameterne i hans arbeidsflyt.

Vennligst les beskrivelsen av først for å forstå arbeidsflytens trinn. Etter å ha gjort deg kjent med LivePortrait Img2Vid-prosessen, vil du legge merke til noen små endringer mellom LivePortrait Vid2Vid og Img2Vid arbeidsflyter.

Forskjellen mellom ComfyUI LivePortrait Vid2Vid og Img2Vid

1. Last inn videoer ved hjelp av "VHS_LoadVideo" i stedet for bilder

• I denne LivePortrait Img2Vid arbeidsflyten laster du inn et statisk bilde som kilde ved hjelp av "LoadImage" noden. Men i Vid2Vid arbeidsflyten må du i stedet laste inn en video som kilde. Juster "frame_load_cap" for å kontrollere hvor mange bilder som lastes inn.
• Endre størrelse på kildevideoen til en høyere oppløsning som 1024x1024 for bedre kvalitet. Etter å ha lastet inn kildevideoen med "VHS_LoadVideo", bruk "ImageResizeKJ" noden for å skalere opp bildene til en oppløsning som 1024x1024. Dette vil bidra til å opprettholde skarphet og detaljer i sluttresultatet. Når du arbeider med videoer, anbefales det å bruke en høyere oppløsning for kilden sammenlignet med Img2Vid arbeidsflyten. Mens 512x512 ofte er tilstrekkelig for statiske bilder, drar videoer nytte av høyere oppløsninger for å bevare detaljer og kvalitet.
• Kjørervideoens bilder kan fortsatt endres til en lavere oppløsning som 480x480 for å spare prosesseringstid, da de bare gir bevegelsesinformasjon.

2. Bruk "source_video_smoothed" relativ bevegelsesmodus for jevnere LivePortrait Vid2Vid-resultater

• "LivePortraitProcess" noden har en "relative_motion_mode" parameter som kontrollerer hvordan bevegelse overføres fra kjørervideoen til kilden. For Vid2Vid anbefales det å bruke "source_video_smoothed" modus.
• I denne modusen blir LivePortrait-bevegelsen jevnet ut over tid basert på inngangsvideoen, noe som bidrar til å skape mer temporalt sammenhengende og stabile resultater. Dette er spesielt viktig for videoer, der plutselige hopp eller rykking i bevegelse kan være mer merkbare enn i enkeltbilder.
• Andre bevegelsesmoduser som "relative" eller "single_frame" kan fungere bedre for Img2Vid, men "source_video_smoothed" er vanligvis det beste valget for Vid2Vid.

3. Koble kildevideoens FPS og lyd til "VHS_VideoCombine" for å opprettholde lydsynkronisering for LivePortrait Vid2Vid

• Når du lager sluttvideoen med "VHS_VideoCombine" noden, er det viktig å opprettholde lydsynkronisering med videobildene. Dette innebærer to nøkkeltilkoblinger:
• Først, koble kildens lyd til "audio" inngangen på "VHS_VideoCombine" ved hjelp av en "Reroute" node. Dette vil sikre at originallyden brukes i sluttvideoen.
• For det andre, koble kildens bildefrekvens (FPS) til "frame_rate" inngangen på "VHS_VideoCombine". Du kan hente FPS ved å bruke "VHS_VideoInfo" noden, som henter metadata fra kildevideoen. Dette vil sikre at sluttvideoen matcher timingen til kilden.
• Ved nøye håndtering av lyd og bildefrekvens, kan du lage en LivePortrait Vid2Vid utgang som opprettholder riktig synkronisering og timing, noe som er avgjørende for et realistisk og seervennlig resultat.