LivePortrait | Анимация портретов | Vid2Vid

Благодаря узлу и рабочему процессу , создание реалистичных анимаций LivePortrait в ComfyUI стало проще. Ниже приводится разбор ключевых компонентов и параметров его рабочего процесса.

Пожалуйста, сначала прочитайте описание , чтобы понять шаги рабочего процесса. После ознакомления с процессом LivePortrait Img2Vid, вы заметите некоторые небольшие изменения между рабочими процессами LivePortrait Vid2Vid и Img2Vid.

Разница между ComfyUI LivePortrait Vid2Vid и Img2Vid

1. Загрузка видео с использованием "VHS_LoadVideo" вместо изображений

• В этом рабочем процессе LivePortrait Img2Vid вы загружаете статическое изображение в качестве источника, используя узел "LoadImage". Однако в рабочем процессе Vid2Vid вам нужно загрузить видео в качестве источника вместо изображения. Настройте "frame_load_cap", чтобы контролировать, сколько кадров загружается.
• Измените размер исходного видео на более высокое разрешение, например 1024x1024, для лучшего качества. После загрузки исходного видео с помощью "VHS_LoadVideo" используйте узел "ImageResizeKJ", чтобы увеличить разрешение кадров до 1024x1024. Это поможет сохранить четкость и детализацию в конечном результате. При работе с видео рекомендуется использовать более высокое разрешение для источника по сравнению с рабочим процессом Img2Vid. В то время как разрешение 512x512 часто достаточно для статических изображений, видео выигрывают от более высоких разрешений для сохранения деталей и качества.
• Кадры управляющего видео могут быть уменьшены до более низкого разрешения, например 480x480, чтобы сэкономить время обработки, так как они предоставляют только информацию о движении.

2. Использование режима относительного движения "source_video_smoothed" для более плавных результатов LivePortrait Vid2Vid

• Узел "LivePortraitProcess" имеет параметр "relative_motion_mode", который контролирует, как движение передается с управляющего видео на источник. Для Vid2Vid рекомендуется использовать режим "source_video_smoothed".
• В этом режиме движение LivePortrait сглаживается со временем на основе входного видео, что помогает создать более временно согласованные и стабильные результаты. Это особенно важно для видео, где внезапные скачки или дрожание движения могут быть более заметными, чем на одиночных изображениях.
• Другие режимы движения, такие как "relative" или "single_frame", могут лучше работать для Img2Vid, но "source_video_smoothed" обычно является лучшим выбором для Vid2Vid.

3. Подключение FPS и аудио исходного видео к "VHS_VideoCombine" для поддержания синхронизации аудио для LivePortrait Vid2Vid

• При создании конечного выходного видео с помощью узла "VHS_VideoCombine" важно поддерживать синхронизацию аудио с видеокадрами. Это включает два ключевых соединения:
• Сначала подключите аудио исходного видео к входу "audio" узла "VHS_VideoCombine" с помощью узла "Reroute". Это обеспечит использование оригинального аудио в выходном видео.
• Во-вторых, подключите частоту кадров (FPS) исходного видео к входу "frame_rate" узла "VHS_VideoCombine". Вы можете получить FPS, используя узел "VHS_VideoInfo", который извлекает метаданные из исходного видео. Это обеспечит соответствие выходного видео временным параметрам исходного.
• Тщательно обрабатывая аудио и частоту кадров, вы можете создать выход LivePortrait Vid2Vid, который поддерживает правильную синхронизацию и временные параметры, что важно для реалистичного и удобного для просмотра результата.