ComfyUI Vid2Vid Dance Transfer

ComfyUI Vid2Vid Dance Transfer - это мощный рабочий процесс ComfyUI Vid2Vid, который позволяет пользователям стилизовать и преобразовывать реальные видео в различные объекты или элементы. С помощью этого рабочего процесса вы можете создавать потрясающие видеоанимации, перенося движения и стиль исходного видео на целевое изображение или объект. Это руководство поможет вам разобраться в ключевых компонентах и настройках, необходимых для достижения наилучших результатов.

Благодарность

Спасибо MDMZ и DP за их невероятный вклад в создание этого рабочего процесса! MDMZ поделился своим рабочим процессом ComfyUI Vid2Vid Dance Transfer через свое руководство на YouTube , которое основано на оригинальном рабочем процессе DP .

1. Что делает рабочий процесс ComfyUI Vid2Vid Dance Transfer?

Рабочий процесс ComfyUI Vid2Vid Dance Transfer позволяет взять реальное видео и преобразовать его в стилизованную анимацию. Он переносит движения и танцевальные движения с исходного видео на выбранное вами целевое изображение или объект.

2. Основные компоненты рабочего процесса ComfyUI Vid2Vid

2.1 Загрузка видео и создание маски

• Рабочий процесс ComfyUI Vid2Vid начинается с компонента VHS_LoadVideo, где вы загружаете исходное видео, содержащее танцевальные движения, которые вы хотите перенести.
• Компонент LayerMask: RemBgUltra используется для удаления фона с кадров видео и создания черно-белой маски объекта. Эта маска важна для правильного определения и переноса движений.
• Компоненты ImageToMask и MaskToImage преобразуют изображения в маски и наоборот по мере необходимости в рабочем процессе ComfyUI Vid2Vid.
• 🌟 Важные советы: платформа RunComfy предварительно загрузила модель "RemBgultra", необходимую для узла "Layer Style". Если вы установили узлы "Layer Style" самостоятельно, удалите файл "Layer Style" из вашего личного файлового браузера, чтобы избежать конфликтов. После удаления файла "Layer Style" рабочий процесс будет использовать предварительную загрузку RunComfy и работать без сбоев.

2.2 Настройка целевого изображения с помощью IPAdapter

• Компоненты IPAdapterAdvanced используются для загрузки и настройки целевого изображения или объекта, который будет получать перенос танца ComfyUI Vid2Vid. Вы можете загрузить целевое изображение с помощью узла LoadImage и загрузить фоновое изображение с помощью узла LoadBgImage.
• Компонент IPAdapterUnifiedLoader используется для загрузки IPAdapter, который определяет степень влияния целевого изображения на выходной результат.

2.3 Применение AnimateDiff для переноса движений

• Основой переноса танца ComfyUI Vid2Vid является модель AnimateDiff Latent Condition Model (LCM). Она загружается с помощью компонента ADE_LoadAnimateDiffModel в ComfyUI Vid2Vid.
• Дополнительные компоненты, такие как ADE_AnimateDiffSamplingSettings, ADE_LoopedUniformContextOptions и ADE_ApplyAnimateDiffModelSimple, используются для настройки параметров выборки, параметров контекста и применения модели AnimateDiff соответственно в ComfyUI Vid2Vid.
• Компонент ADE_UseEvolvedSampling используется для выбора подходящего метода выборки для модели AnimateDiff в ComfyUI Vid2Vid.

2.4 Руководство выходным результатом с помощью ControlNet

• ControlNet используется для руководства и определения формы и контура объекта в выходной анимации.
• Компоненты ControlNetLoaderAdvanced используются для загрузки моделей ControlNet. Этот рабочий процесс использует две модели ControlNet: QR Code Monster и Lineart.
• Компоненты ControlNet Stacker используются для наложения и комбинирования выходных данных ControlNet с регулируемыми силами в ComfyUI Vid2Vid Transfer.

2.5 Генерация выходных кадров с помощью KSampler

• Компоненты KSampler (Efficient) в ComfyUI Vid2Vid отвечают за генерацию выходных кадров на основе всех предоставленных конфигураций и входных данных.
• Основной компонент KSampler обрабатывает кадры видео для создания предварительного просмотра анимации. Он принимает модель AnimateDiff, выходы IPAdapter, стек ControlNet и другие настройки в качестве входных данных.
• Второй компонент KSampler используется для увеличения масштаба и удаления шума с выходных кадров ComfyUI Vid2Vid.

2.6 Увеличение масштаба при необходимости

• Компонент ImageScaleBy используется для увеличения разрешения выходных кадров. Компонент ImageUpscaleWithModel используется для дальнейшего увеличения масштаба кадров с использованием выбранной модели увеличения. По умолчанию компоненты увеличения масштаба отключены. Если вам нужно, включите эти компоненты для получения лучшего результата.