Линейная Дилатация Маски | Потрясающие Анимации

ComfyUI Линейная Дилатация Маски

Создавайте потрясающие видео-анимации, преобразуя своего персонажа (танцора) и заставляя его путешествовать по разным сценам через эффект дилатации маски. Этот рабочий процесс предназначен для использования с видео с одним персонажем.

Как использовать рабочий процесс ComfyUI Линейная Дилатация Маски:

1. Загрузите видео с персонажем в раздел Input
2. Выберите желаемую ширину и высоту финального видео, а также количество кадров входного видео, которые должны быть пропущены с помощью “every_nth”. Вы также можете ограничить общее количество кадров для рендеринга с помощью “frame_load_cap”.
3. Заполните положительную и отрицательную подсказки. Установите время пакета кадров в соответствии с тем, когда вы хотите, чтобы происходили переходы сцен.
4. Загрузите изображения для каждой из масок персонажа IP Adapter:
   1. Белый = персонаж (танцор)
   2. Черный = Первый фон
   3. Красный = Красный фон дилатации маски
   4. Зеленый = Зеленый фон дилатации маски
   5. Синий = Синий фон дилатации маски
5. Загрузите хороший LCM контрольный пункт (я использую ParadigmLCM от Machine Delusions) в разделе “Models”.
   1. Добавьте любые loras, используя Lora stacker ниже загрузчика модели
6. Нажмите Queue Prompt

Input

• Вы можете настроить ширину и высоту, используя два верхних левых поля ввода
• every_nth задает, сколько кадров входного видео должно быть пропущено (2 = каждый второй кадр)
• Поля чисел в нижнем левом углу отображают информацию о загруженном входном видео: общее количество кадров, ширину, высоту и FPS сверху вниз.
• Если у вас уже есть видео с маской персонажа (должен быть белый персонаж на черном фоне), вы можете включить раздел “Override Subject Mask” и загрузить видео с маской. При желании вы можете отключить раздел “Segment Subject”, чтобы сэкономить время обработки.
• Иногда сегментированный персонаж может быть не идеальным, вы можете проверить качество маски, используя окно предварительного просмотра в нижнем правом углу, как показано выше. Если это так, вы можете поэкспериментировать с подсказкой в узле “Florence2Run”, чтобы нацелиться на разные части тела, такие как “голова”, “грудь”, “ноги” и т. д., и посмотреть, получите ли вы лучший результат.

Prompt

• Установите положительную подсказку, используя пакетное форматирование:
  • например, “0”: “4k, masterpiece, 1girl standing on the beach, absurdres”, “25”: “HDR, sunset scene, 1girl with black hair and a white jacket, absurdres”, …
• Отрицательная подсказка в обычном формате, при желании вы можете добавить embeddings.

Mask Dilations

• Каждая цветная группа соответствует цвету маски дилатации, которая будет ею сгенерирована.
• Вы можете задать форму маски, а также скорость дилатации и задержку кадра с помощью следующего узла:
  • shape: “circle” самая точная, но требует больше времени на генерацию. Установите это, когда будете готовы к финальному рендерингу. “square” быстро вычисляется, но менее точная, лучше всего подходит для тестирования рабочего процесса и выбора изображений IP adapter.
  • dilate_per_frame: Насколько быстро должна дилатироваться маска, большие числа = более высокая скорость дилатации
  • delay: Сколько кадров ждать, прежде чем маска начнет дилатироваться.
• Если у вас уже есть сгенерированное видео с композитной маской, вы можете включить группу “Override Composite Mask” и загрузить его. Рекомендуется обойти группы масок дилатации, если вы используете переопределение, чтобы сэкономить время обработки.

Models

• Используйте хорошую LCM модель для контрольного пункта. Я рекомендую ParadigmLCM от Machine Delusions.
• При желании вы можете указать AnimateLCM_sd15_t2v_lora.safetensors с низким весом 0.18 для дальнейшего улучшения финального результата.
• Добавьте любые дополнительные Loras к модели, используя синий Lora stacker под загрузчиком модели.

AnimateDiff

• Вы можете установить другой Motion Lora вместо того, который я использовал (LiquidAF-0-1.safetensors)
• Настройте значение Multival Dynamic float выше или ниже, в зависимости от того, хотите ли вы, чтобы результат имел больше или меньше движения.

IP Adapters

• Здесь вы можете указать референсные субъекты, которые будут использоваться для рендеринга фонов для каждой из масок дилатации, а также вашего видео персонажа.
• Цвет каждой группы соответствует маске, на которую она нацелена:
  • Белый = персонаж (танцор)
  • Черный = Первый фон
  • Красный = Красный фон дилатации маски
  • Зеленый = Зеленый фон дилатации маски
  • Синий = Синий фон дилатации маски
• Если вы хотите, чтобы финальный рендер более точно следовал изображениям IP adapter, вы можете изменить пресет IPAdapter с VIT-G на PLUS в группе IPA Unified Loader.

ControlNet

• Этот рабочий процесс использует 5 разных controlnets, включая AD, Lineart, QR Code, Depth и OpenPose.
• Все входные данные для controlnets генерируются автоматически
• Вы можете выбрать переопределение входного видео для controlnets Depth и Openpose, если это необходимо, включив группы “Override Depth” и “Override Openpose”, как показано ниже:

• Рекомендуется отключить группы “Generate Depth” и “Generate Openpose”, если вы используете переопределение, чтобы сэкономить время обработки.

Sampler

• По умолчанию группа HiRes Fix sampler будет отключена, чтобы сэкономить время обработки при тестировании
• Я рекомендую обходить группу Sampler, когда пытаетесь экспериментировать с настройками маски дилатации, чтобы сэкономить время.
• При финальных рендерах вы можете включить группу HiRes Fix, которая увеличит масштаб и добавит детали к финальному результату.

Output

• Есть две группы вывода: левая для стандартного вывода sampler, а правая для вывода HiRes Fix sampler.
• Вы можете изменить место сохранения файлов, изменив строку “custom_directory” в узлах “FileNamePrefixDateDirFirst”. По умолчанию этот узел будет сохранять выходные видео в папке с меткой времени в каталоге “output” ComfyUI
  • например, …/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

О Авторе

Akatz AI:

• Вебсайт:
• https://www.youtube.com/@akatz_ai
• https://www.instagram.com/akatz.ai/
• https://www.tiktok.com/@akatz_ai
• https://x.com/akatz_ai
• https://github.com/akatz-ai

Контакты:

• Email: akatzfey@sendysoftware.com