LivePortrait | Animate Portraits | Vid2Vid

Dank des Nodes und Workflows ist das Erstellen realistischer LivePortrait-Animationen in ComfyUI nun einfacher. Im Folgenden finden Sie eine Aufschlüsselung der wichtigsten Komponenten und Parameter seines Workflows.

Bitte lesen Sie zuerst die Beschreibung des , um die einzelnen Schritte des Workflows zu verstehen. Nachdem Sie sich mit dem LivePortrait Img2Vid-Prozess vertraut gemacht haben, werden Ihnen einige kleine Unterschiede zwischen den LivePortrait Vid2Vid und Img2Vid Workflows auffallen.

Der Unterschied zwischen ComfyUI LivePortrait Vid2Vid und Img2Vid

1. Laden Sie Videos mit "VHS_LoadVideo" anstelle von Bildern

• In diesem LivePortrait Img2Vid-Workflow laden Sie ein statisches Bild als Quelle mit dem "LoadImage"-Node. Im Vid2Vid-Workflow müssen Sie jedoch ein Video als Quelle laden. Passen Sie den "frame_load_cap" an, um zu steuern, wie viele Frames geladen werden.
• Ändern Sie die Auflösung des Quellvideos auf eine höhere Auflösung wie 1024x1024 für eine bessere Qualität. Nachdem Sie das Quellvideo mit "VHS_LoadVideo" geladen haben, verwenden Sie den "ImageResizeKJ"-Node, um die Frames auf eine Auflösung wie 1024x1024 hochzuskalieren. Dies hilft, Schärfe und Detailgenauigkeit im Endergebnis zu erhalten. Bei der Arbeit mit Videos wird empfohlen, eine höhere Auflösung für die Quelle zu verwenden im Vergleich zum Img2Vid-Workflow. Während 512x512 oft für statische Bilder ausreicht, profitieren Videos von höheren Auflösungen, um Details und Qualität zu bewahren.
• Die Steuerungsvideo-Frames können weiterhin auf eine niedrigere Auflösung wie 480x480 verkleinert werden, um die Verarbeitungszeit zu sparen, da sie nur Bewegungsinformationen liefern.

2. Verwenden Sie den "source_video_smoothed"-Modus für relative Bewegung für glattere LivePortrait Vid2Vid-Ergebnisse

• Der "LivePortraitProcess"-Node hat einen Parameter namens "relative_motion_mode", der steuert, wie die Bewegung vom Steuerungsvideo auf die Quelle übertragen wird. Für Vid2Vid wird empfohlen, den "source_video_smoothed"-Modus zu verwenden.
• In diesem Modus wird die LivePortrait-Bewegung basierend auf dem Eingabevideo über die Zeit geglättet, was hilft, zeitlich kohärentere und stabilere Ergebnisse zu erzeugen. Dies ist besonders wichtig für Videos, bei denen plötzliche Sprünge oder Ruckler in der Bewegung auffälliger sein können als bei einzelnen Bildern.
• Andere Bewegungsmodi wie "relative" oder "single_frame" können besser für Img2Vid geeignet sein, aber "source_video_smoothed" ist typischerweise die beste Wahl für Vid2Vid.

3. Verbinden Sie die FPS und den Ton des Quellvideos mit "VHS_VideoCombine", um die Audiosynchronisation für LivePortrait Vid2Vid beizubehalten

• Beim Erstellen des endgültigen Ausgabevideos mit dem "VHS_VideoCombine"-Node ist es wichtig, die Audiosynchronisation mit den Videoframes beizubehalten. Dies umfasst zwei wichtige Verbindungen:
• Erstens verbinden Sie den Ton des Quellvideos mit dem "audio"-Eingang von "VHS_VideoCombine" mithilfe eines "Reroute"-Nodes. Dadurch wird sichergestellt, dass der Originalton im Ausgabevideo verwendet wird.
• Zweitens verbinden Sie die Bildrate (FPS) des Quellvideos mit dem "frame_rate"-Eingang von "VHS_VideoCombine". Sie können die FPS mithilfe des "VHS_VideoInfo"-Nodes erhalten, der Metadaten aus dem Quellvideo extrahiert. Dadurch wird sichergestellt, dass das Ausgabevideo zeitlich mit der Quelle übereinstimmt.
• Durch sorgfältiges Handling des Tons und der Bildrate können Sie ein LivePortrait Vid2Vid-Ausgabematerial erstellen, das eine ordnungsgemäße Synchronisation und Timing beibehält, was entscheidend für ein realistisches und anschaubares Ergebnis ist.