LivePortrait | Portretten Animeren | Vid2Vid

Dankzij  node en workflow is het nu eenvoudiger om realistische LivePortrait-animaties te maken in ComfyUI. Hieronder volgt een overzicht van de belangrijkste componenten en parameters van zijn workflow.

Lees eerst de beschrijving van om de workflow-stappen te begrijpen. Na het vertrouwd raken met het LivePortrait Img2Vid-proces, zul je enkele kleine verschillen opmerken tussen de LivePortrait Vid2Vid en Img2Vid workflows.

Het Verschil Tussen ComfyUI LivePortrait Vid2Vid en Img2Vid

1. Laad video's met "VHS_LoadVideo" in plaats van afbeeldingen

• In deze LivePortrait Img2Vid-workflow laad je een statische afbeelding als bron met behulp van de "LoadImage"-node. In de Vid2Vid-workflow moet je echter een video als bron laden. Pas de "frame_load_cap" aan om te bepalen hoeveel frames worden geladen.
• Verhoog de resolutie van de bronvideo naar bijvoorbeeld 1024x1024 voor betere kwaliteit. Nadat je de bronvideo hebt geladen met "VHS_LoadVideo", gebruik je de "ImageResizeKJ"-node om de frames op te schalen naar een resolutie zoals 1024x1024. Dit helpt om scherpte en detail in de uiteindelijke output te behouden. Bij het werken met video's wordt aanbevolen om een hogere resolutie voor de bron te gebruiken in vergelijking met de Img2Vid-workflow. Terwijl 512x512 vaak voldoende is voor statische afbeeldingen, profiteren video's van hogere resoluties om details en kwaliteit te behouden.
• De frames van de stuurvideo kunnen nog steeds worden verkleind naar een lagere resolutie zoals 480x480 om verwerkingstijd te besparen, aangezien ze alleen bewegingsinformatie leveren.

2. Gebruik "source_video_smoothed" relatieve bewegingsmodus voor soepelere LivePortrait Vid2Vid-resultaten

• De "LivePortraitProcess"-node heeft een parameter "relative_motion_mode" die bepaalt hoe beweging wordt overgedragen van de stuurvideo naar de bron. Voor Vid2Vid wordt aanbevolen om de modus "source_video_smoothed" te gebruiken.
• In deze modus wordt de LivePortrait-beweging in de loop van de tijd gladgestreken op basis van de invoervideo, wat helpt om meer temporeel coherente en stabiele resultaten te creëren. Dit is vooral belangrijk voor video's, waar plotselinge sprongen of trillingen in beweging opvallender kunnen zijn dan bij enkele afbeeldingen.
• Andere bewegingsmodi zoals "relative" of "single_frame" kunnen beter werken voor Img2Vid, maar "source_video_smoothed" is doorgaans de beste keuze voor Vid2Vid.

3. Verbind de bronvideo FPS en audio met "VHS_VideoCombine" om audio-synchronisatie te behouden voor LivePortrait Vid2Vid

• Bij het maken van de uiteindelijke outputvideo met de "VHS_VideoCombine"-node is het belangrijk om de audio-synchronisatie met de videoframes te behouden. Dit omvat twee belangrijke verbindingen:
• Verbind eerst het audio van de bronvideo met de "audio"-invoer van "VHS_VideoCombine" met behulp van een "Reroute"-node. Dit zorgt ervoor dat de originele audio wordt gebruikt in de outputvideo.
• Verbind ten tweede de framerate (FPS) van de bronvideo met de "frame_rate"-invoer van "VHS_VideoCombine". Je kunt de FPS verkrijgen met de "VHS_VideoInfo"-node, die metadata van de bronvideo extraheert. Dit zorgt ervoor dat de outputvideo overeenkomt met de timing van de bron.
• Door zorgvuldig om te gaan met de audio en framerate, kun je een LivePortrait Vid2Vid-output creëren die een juiste synchronisatie en timing behoudt, wat cruciaal is voor een realistisch en kijkbaar resultaat.