LivePortrait | Anima Ritratti | Vid2Vid

Grazie al nodo e al workflow di , creare animazioni LivePortrait realistiche in ComfyUI è ora più facile. Di seguito è riportata una descrizione dei componenti chiave e dei parametri del suo workflow.

Si prega di leggere prima la descrizione di per comprendere i passaggi del workflow. Dopo aver familiarizzato con il processo LivePortrait Img2Vid, noterai alcune piccole differenze tra i workflow LivePortrait Vid2Vid e Img2Vid.

La Differenza tra ComfyUI LivePortrait Vid2Vid e Img2Vid

1. Carica video usando "VHS_LoadVideo" invece delle immagini

• In questo workflow LivePortrait Img2Vid, carichi un'immagine statica come sorgente utilizzando il nodo "LoadImage". Tuttavia, nel workflow Vid2Vid, devi caricare un video come sorgente. Regola il "frame_load_cap" per controllare quanti fotogrammi vengono caricati.
• Ridimensiona il video sorgente a una risoluzione più alta come 1024x1024 per una migliore qualità. Dopo aver caricato il video sorgente con "VHS_LoadVideo", usa il nodo "ImageResizeKJ" per aumentare la risoluzione dei fotogrammi a 1024x1024. Questo aiuterà a mantenere nitidezza e dettaglio nel risultato finale. Quando si lavora con i video, è consigliato usare una risoluzione più alta per la sorgente rispetto al workflow Img2Vid. Mentre 512x512 è spesso sufficiente per immagini statiche, i video beneficiano di risoluzioni più alte per preservare dettaglio e qualità.
• I fotogrammi del video di guida possono ancora essere ridimensionati a una risoluzione inferiore come 480x480 per risparmiare tempo di elaborazione, poiché forniscono solo informazioni sul movimento.

2. Usa la modalità di movimento relativa "source_video_smoothed" per risultati Vid2Vid LivePortrait più fluidi

• Il nodo "LivePortraitProcess" ha un parametro "relative_motion_mode" che controlla come il movimento viene trasferito dal video di guida alla sorgente. Per Vid2Vid, è consigliato usare la modalità "source_video_smoothed".
• In questa modalità, il movimento LivePortrait è smussato nel tempo in base al video di input, il che aiuta a creare risultati più coerenti e stabili nel tempo. Questo è particolarmente importante per i video, dove salti improvvisi o tremori nel movimento possono essere più evidenti rispetto alle singole immagini.
• Altre modalità di movimento come "relative" o "single_frame" possono funzionare meglio per Img2Vid, ma "source_video_smoothed" è tipicamente la scelta migliore per Vid2Vid.

3. Collega FPS e audio del video sorgente a "VHS_VideoCombine" per mantenere la sincronizzazione audio per LivePortrait Vid2Vid

• Quando crei il video di output finale con il nodo "VHS_VideoCombine", è importante mantenere la sincronizzazione audio con i fotogrammi video. Questo comporta due collegamenti chiave:
• Prima, collega l'audio del video sorgente all'input "audio" di "VHS_VideoCombine" usando un nodo "Reroute". Questo garantirà che l'audio originale venga utilizzato nel video di output.
• Secondo, collega il frame rate (FPS) del video sorgente all'input "frame_rate" di "VHS_VideoCombine". Puoi ottenere il FPS utilizzando il nodo "VHS_VideoInfo", che estrae i metadati dal video sorgente. Questo garantirà che il video di output corrisponda alla tempistica della sorgente.
• Gestendo attentamente l'audio e il frame rate, puoi creare un output LivePortrait Vid2Vid che mantenga la sincronizzazione e la tempistica corrette, cruciali per un risultato realistico e guardabile.