LivePortrait | Portretten Animeren | Img2Vid

Wat is LivePortrait?

LivePortrait is een efficiënt portretanimatie-framework ontwikkeld door Kuaishou Technology dat tot doel heeft levensechte video's te synthetiseren van een enkele bronafbeelding. Het gebruikt de bronafbeelding als een verschijningsreferentie en haalt beweging (gezichtsuitdrukkingen en hoofdpositie) uit een stuurvideo, audio, tekst of generatie.

In tegenstelling tot gangbare diffusie-gebaseerde methoden, verkent en breidt LivePortrait een impliciet-sleutelpunten-gebaseerd framework uit om effectief de balans tussen rekenefficiëntie en controleerbaarheid te bewaren. Het richt zich op betere generalisatie, controleerbaarheid en efficiëntie voor praktisch gebruik. LivePortrait heeft een hoge generatiekwaliteit, zelfs vergeleken met diffusie-methoden, terwijl het extreem snel is - ongeveer 12,8 ms per frame op een RTX 4090 GPU met PyTorch.

Voor meer details, bezoek

Hoe LivePortrait Werkt

Op een hoog niveau neemt LivePortrait een bronafbeelding en een stuurvideo als invoer. Het extraheert het uiterlijk van de bronafbeelding en beweging van de stuurvideo. Deze worden vervolgens gecombineerd met behulp van warping- en generatiemodules om een geanimeerde portretvideo te synthetiseren die de identiteit van de bronafbeelding behoudt, maar de beweging en uitdrukkingen van de stuurvideo volgt.

De belangrijkste componenten in LivePortrait zijn:

1. Verschijningskenmerk-extractor: Codeert de identiteit en verschijningsinformatie van de bronafbeelding.
2. Bewegingsextractor: Extraheert bewegingskenmerken (gezichtssleutelpunten) uit de stuurvideoframes.
3. Warping-module: Gebruikt de geëxtraheerde beweging om de bronafbeeldingskenmerken te vervormen, zodat ze overeenkomen met de stuurhouding en -uitdrukking.
4. Beeldgenerator: Neemt de vervormde kenmerken en synthetiseert het uiteindelijke fotorealistische geanimeerde frame.
5. Stik- en retargeting-module: Naait optioneel het gegenereerde portret terug op de originele afbeelding en maakt het mogelijk specifieke gezichtsgebieden zoals ogen en mond te controleren.

Deze modules zijn efficiënt ontworpen en werken samen om hoogwaardige, controleerbare LivePortrait-animatie mogelijk te maken.

Hoe ComfyUI LivePortrait te Gebruiken

Dankzij  node en workflow is het maken van realistische portretanimaties in ComfyUI nu eenvoudiger. Hieronder volgt een overzicht van de belangrijkste componenten en parameters van zijn ComfyUI LivePortrait workflow.

Belangrijke Stappen van de ComfyUI LivePortrait Img2Vid Workflow

1. Laad de Live Portrait Modellen

• Voeg de "DownloadAndLoadLivePortraitModels" node toe
• Stel de precisie in op auto of fp16 voor de beste prestaties

2. Kies Gezichtsdetector voor LivePortrait

• Je hebt de keuze tussen de "LivePortraitLoadCropper" (InsightFace) en "LivePortraitLoadMediaPipeCropper" nodes
• InsightFace is nauwkeuriger maar heeft een niet-commerciële licentie, terwijl MediaPipe sneller is op CPU maar minder nauwkeurig
• Beide outputten een "cropper" die zal worden gebruikt om gezichten te detecteren en bij te snijden

3. Laad en Verwerk de Bronafbeelding voor LivePortrait

• Laad je bronportret afbeelding met behulp van de "Load Image" node
• Verklein deze naar 512x512 met behulp van de "ImageResize" node
• Verbind de verkleinde afbeelding met een "LivePortraitCropper" node
• Verbind ook de "cropper" output van je geselecteerde gezichtsdetector met deze node
• Belangrijke parameters in de "LivePortraitCropper" Node

"dsize": Dit stelt de uitvoerresolutie van de bijgesneden gezichtsafbeelding in

• Standaard is 512, wat betekent dat het gezicht wordt bijgesneden tot 512x512 pixels
• Hogere waarden zullen het gezicht in hogere resolutie bijsnijden, maar kunnen langzamer verwerken
• Lagere waarden zullen sneller zijn maar kunnen details verliezen

"scale": Dit bepaalt hoe ver ingezoomd de gezichtsuitsnede zal zijn

• Standaard is 2.3, hogere waarden zullen dichter op het gezicht inzoomen, lagere waarden zullen meer van het hoofd/achtergrond omvatten
• Je wilt dit aanpassen zodat de uitsnede het hele gezicht en wat achtergrond omvat, maar niet te veel extra ruimte
• Een goede gezichtsuitsnede is belangrijk voor het goed functioneren van de bewegingsoverdracht
• Typische waarden variëren van 1.8 tot 2.5, afhankelijk van de framing van de bronafbeelding

"face_index": Als er meerdere gezichten in de afbeelding worden gedetecteerd, selecteert dit welke moet worden bijgesneden

• Standaard is 0, wat het eerste gedetecteerde gezicht selecteert
• Verhoog dit als je een ander gezicht in de afbeelding wilt selecteren
• Gedetecteerde gezichten worden geordend op basis van de "face_index_order" instelling (standaard is van groot naar klein)

"vx_ratio" en "vy_ratio" (Optioneel): Hiermee kun je de uitsnede verticaal (vy) of horizontaal (vx) verschuiven

• Waarden variëren van -1 tot 1
• Bijvoorbeeld, het instellen van vy op 0.1 zal de uitsnede 10% van de framegrootte omhoog verschuiven
• Dit kan helpen als de automatische uitsnede iets is uitgelijnd

"face_index_order": Dit stelt in hoe gedetecteerde gezichten worden geordend bij het selecteren met face_index

• Standaard is "large-small" wat van groot naar klein ordent
• Kan ook ordenen van links naar rechts, van boven naar beneden, enz.
• Dit is alleen relevant als je meerdere gezichten in je afbeelding hebt

4. Laad en Verwerk de Stuurvideo voor LivePortrait

• Laad je stuurvideo met behulp van de "VHS_LoadVideo" node
• Pas num_frames aan met behulp van de "frame_load_cap" primitive
• Verklein de videoframes naar 480x480 met behulp van een "GetImageSizeAndCount" node
• Je kunt optioneel de stuurvideoframes bijsnijden met een andere "LivePortraitCropper" node

5. Pas Bewegingsoverdracht toe voor LivePortrait

• Voeg de "LivePortraitProcess" node toe
• Verbind de geladen pipeline, bronafbeelding crop_info, bijgesneden bronafbeelding, en stuurframes met de "LivePortraitProcess" node
• Belangrijke parameters in de "LivePortraitProcess" Node

"lip_zero": Wanneer ingeschakeld, zal dit de lipparameters op nul zetten als ze onder een bepaalde drempel vallen

• Dit kan helpen om onnatuurlijke lipbewegingen te verminderen en de lip-sync te verbeteren
• Aanbevolen om dit in te schakelen tenzij je specifiek alle lipbewegingen wilt behouden

"lip_zero_threshold": Dit stelt de drempel in waarboven lipparameters op nul worden gezet wanneer "lip_zero" is ingeschakeld

• Standaard is 0.03, hogere waarden zullen meer lipbewegingen op nul zetten, lagere waarden zullen meer behouden
• Pas dit aan als je wilt veranderen hoeveel lipbewegingen worden onderdrukt

"stitching": Wanneer ingeschakeld, zal dit het geanimeerde gezicht terug in de originele afbeelding blenden met behulp van een stikproces

• Dit kan helpen om een naadloze overgang tussen het geanimeerde gezicht en de achtergrond te creëren
• Aanbevolen om dit in te schakelen voor de meest natuurlijk ogende resultaten

"delta_multiplier": Dit schaalt de bewegingsparameters met een vermenigvuldiger

• Standaard is 1.0, hogere waarden zullen de beweging overdrijven, lagere waarden zullen het verminderen
• Kan worden gebruikt om de algehele intensiteit van de gezichtsbeweging aan te passen
• Typische waarden variëren van 0.8 tot 1.5, afhankelijk van het gewenste effect

"mismatch_method": Dit stelt in hoe de workflow omgaat met mismatches tussen het aantal bron- en stuurframes

• Opties zijn "constant", "cycle", "mirror", en "cut"
• "constant" zal op het laatste frame blijven, "cycle" zal herhalen, "mirror" zal vooruit en dan achteruit afspelen, "cut" zal stoppen
• Standaard is "constant", wijzig dit als je een ander gedrag wilt wanneer de stuurvideo langer of korter is dan de bron

"relative_motion_mode": Dit bepaalt hoe beweging wordt overgedragen van de stuurvideo naar de bronafbeelding

• Opties zijn "relative", "source_video_smoothed", "relative_rotation_only", "single_frame", en "off"
• "relative" is de standaard en gebruikt relatieve bewegingsoverdracht
• "off" zal bewegingsoverdracht volledig uitschakelen
• Experimenteer met verschillende modi om te zien welke de beste resultaten geeft voor jouw specifieke gebruiksgeval

"driving_smooth_observation_variance": Dit bepaalt de gladheid van de stuurbeweging wanneer de "source_video_smoothed" bewegingsmodus wordt gebruikt

• Hogere waarden zullen de beweging meer gladstrijken, lagere waarden zullen meer van de originele beweging behouden
• Standaard is 0.000003, pas dit aan als je de gladheid van de overgedragen beweging wilt wijzigen

6. Compositie Resultaat (Optioneel) voor LivePortrait

• Om het geanimeerde gezicht terug in de bronafbeelding te compositeren, gebruik de "LivePortraitComposite" node
• Verbind de originele bronafbeelding, bijgesneden geanimeerde afbeelding, LivePortrait uitvoergegevens, en een optioneel masker
• Dit zal volledige frames outputten met het geanimeerde gezicht ingeblend

7. Configureer Retargeting (Optioneel) voor LivePortrait

• Voor fijnere controle over ogen en lippen, gebruik de "LivePortraitRetargeting" node
• Schakel oog- en/of lip-retargeting in en pas hun vermenigvuldigers aan
• Verbind de retargeting info met "LivePortraitProcess"

Houd er rekening mee dat het Insightface model vereist is in deze workflow. Insightface model (https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip) licentie is niet-commercieel van aard.

Als je geïnteresseerd bent in LivePortrait Vid2Vid, gebruik dan