MimicMotion | Генерация видео с движением человека

Что такое MimicMotion

MimicMotion — это управляемая система генерации видео, разработанная исследователями из Tencent и Шанхайского университета Цзяо Тун. Она может создавать высококачественные видео любой длины, следуя заданному движению. По сравнению с предыдущими методами, MimicMotion превосходит в создании видео с богатой детализацией, хорошей временной плавностью и возможностью генерировать длинные последовательности.

Как работает MimicMotion

MimicMotion принимает на вход эталонное изображение и руководство по позам. Затем она создает видео, которое соответствует внешнему виду эталонного изображения, следуя предоставленной последовательности движений.

Несколько ключевых инноваций обеспечивают высокую производительность MimicMotion:

1. Учет уверенности в позах: Включая информацию о доверии к позам, MimicMotion достигает лучшей временной плавности и более устойчива к шумным обучающим данным. Это помогает ей хорошо обобщать.
2. Увеличение потерь в региональных областях: Концентрация потерь на областях с высокой уверенностью в позах, особенно на руках, значительно уменьшает искажения изображений в сгенерированных видео.
3. Прогрессивное слияние латентных представлений: Для эффективного создания плавных и длинных видео, MimicMotion генерирует сегменты видео с перекрывающимися кадрами и постепенно сливает их латентные представления. Это позволяет создавать видео любой длины с контролируемыми вычислительными затратами.

Модель сначала предварительно обучается на больших видеодатасетах, а затем дообучается для задачи имитации движений. Этот эффективный процесс обучения не требует огромного количества специализированных данных.

Как использовать ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

После тестирования различных узлов MimicMotion, доступных в ComfyUI, мы рекомендуем использовать для получения наилучших результатов.

Шаг 1: Подготовка входных данных для MimicMotion

Чтобы начать анимацию с ComfyUI MimicMotion, вам понадобятся два ключевых компонента:

• Эталонное изображение: Это начальный кадр, который служит отправной точкой для вашей анимации. Выберите изображение, которое четко показывает объект, который вы хотите анимировать.
• Изображения поз: Это изображения, которые определяют последовательность движений. Каждое изображение позы должно показывать желаемое положение или позу вашего объекта в определенный момент анимации. Вы можете создать эти изображения поз вручную или использовать инструменты оценки поз для извлечения поз из видео.

🌟Убедитесь, что ваше эталонное изображение и изображения поз имеют одинаковое разрешение и соотношение сторон для оптимальных результатов.🌟

Шаг 2: Загрузка модели MimicMotion

ComfyUI MimicMotion требует модель MimicMotion для правильного функционирования. В RunComfy модель уже загружена для вашего удобства. Чтобы настроить узел "DownLoadMimicMotionModel", выполните следующие шаги:

• Установите параметр "model" на "MimicMotion-fp16.safetensors" (или соответствующее имя файла модели, если оно отличается).
• Выберите желаемую точность (fp32, fp16 или bf16) в зависимости от возможностей вашего GPU. Этот выбор может повлиять на производительность и совместимость.
• Оставьте параметр "lcm" установленным на False, если вы специально не хотите использовать вариант модели LCM (Latent Conditional Motion).

После настройки параметров узла подключите выход "DownloadAndLoadMimicMotionModel" к входу следующего узла в вашем рабочем процессе. Это обеспечит правильное использование загруженной модели MimicMotion на последующих этапах вашего пайплайна ComfyUI.

Шаг 3: Настройка узла MimicMotion Sampler

Узел "MimicMotionSampler" отвечает за создание анимированных кадров на основе ваших входных данных. Вот как его настроить:

• Добавьте узел "MimicMotionSampler" и подключите его к выходу узла "DownloadAndLoadMimicMotionModel".
• Установите параметр "ref_image" на ваше эталонное изображение и параметр "pose_images" на последовательность ваших изображений поз.
• Настройте параметры выборки в соответствии с вашими предпочтениями:
  • "steps" определяет количество шагов диффузии (более высокие значения приводят к более плавным результатам, но увеличивают время обработки).
  • "cfg_min" и "cfg_max" контролируют силу условного руководства (более высокие значения точнее соответствуют изображениям поз).
  • "seed" устанавливает случайное начальное значение для воспроизводимости.
  • "fps" указывает количество кадров в секунду для создаваемой анимации.
  • Настройте дополнительные параметры, такие как "noise_aug_strength", "context_size" и "context_overlap", чтобы экспериментировать с различными стилями и временной согласованностью.

Шаг 4: Декодирование латентных выборок

Узел "MimicMotionSampler" выводит латентные представления анимированных кадров. Чтобы преобразовать эти латенты в реальные изображения, вам нужно использовать узел "MimicMotionDecode":

• Добавьте узел "MimicMotionDecode" и подключите его к выходу узла "MimicMotionSampler".
• Установите параметр "decode_chunk_size", чтобы контролировать количество кадров, декодируемых одновременно (более высокие значения могут потреблять больше памяти GPU). Выход узла "MimicMotionDecode" будет финальными анимированными кадрами в формате изображений.

Шаг 5: Улучшение поз с помощью MimicMotionGetPoses

Если вы хотите визуализировать извлеченные позы вместе с вашим эталонным изображением, вы можете использовать узел "MimicMotionGetPoses":

• Подключите "ref_image" и "pose_images" к узлу "MimicMotionGetPoses".
• Установите параметры "include_body", "include_hand" и "include_face" для контроля, какие ключевые точки поз отображаются. Выход будет включать эталонное изображение с извлеченной позой и отдельные изображения поз.

Советы и лучшие практики

Вот несколько советов, которые помогут вам максимально эффективно использовать ComfyUI MimicMotion:

• Экспериментируйте с различными эталонными изображениями и последовательностями поз для создания разнообразных анимаций.
• Настраивайте параметры выборки, чтобы сбалансировать качество и время обработки в зависимости от ваших потребностей.
• Используйте высококачественные, согласованные изображения поз для наилучших результатов. Избегайте резких изменений в перспективе или освещении между позами.
• Следите за использованием памяти GPU, особенно при работе с изображениями высокого разрешения или длинными анимациями.
• Воспользуйтесь узлом "DiffusersScheduler" для настройки планирования шума для уникальных эффектов.

ComfyUI MimicMotion — это мощный и универсальный инструмент, который позволяет вам легко создавать потрясающие анимации. Понимая рабочий процесс и исследуя различные параметры, вы сможете анимировать кого угодно с легкостью. Погружаясь в мир анимации, не забывайте экспериментировать, повторять и получать удовольствие от процесса. С ComfyUI MimicMotion возможности безграничны, так что наслаждайтесь воплощением своих творческих замыслов в жизнь!