Vid2Vid Часть 1 | Композиция и Маскирование

Рабочий процесс ComfyUI Vid2Vid, созданный YVANN, представляет два различных подхода для достижения высококачественных, профессиональных анимаций.

• Первый рабочий процесс ComfyUI: ComfyUI Vid2Vid Часть 1 | Композиция и Маскирование
• Второй рабочий процесс: ComfyUI Vid2Vid Часть 2 | SDXL Style Transfer

ComfyUI Vid2Vid Часть 1 | Композиция и Маскирование

Этот рабочий процесс улучшает креативность, сосредотачиваясь на композиции и маскировании вашего оригинального видео.

Шаг 1: Загрузчик Моделей | ComfyUI Vid2Vid Workflow Часть 1

Выберите подходящие модели для вашей анимации. Это включает выбор контрольной модели, модели VAE (Вариационный Автокодировщик) и модели LoRA (Низкоранговая Адаптация). Эти модели важны для определения возможностей и стиля вашей анимации.

Шаг 2: Загрузчик Видео | ComfyUI Vid2Vid Workflow Часть 1

Узел Input Video отвечает за импорт видеофайла, который будет использоваться для анимации. Узел читает видео и конвертирует его в отдельные кадры, которые затем обрабатываются на следующих этапах. Это позволяет детально редактировать и улучшать каждый кадр.

Шаг 3: Удаление Фона (Автоматическое Маскирование) | ComfyUI Vid2Vid Workflow Часть 1

Удаление Фона (Автоматическое Маскирование) изолирует субъект от фона с использованием автоматической техники маскирования. Это включает модели, которые обнаруживают и отделяют передний план от фона, создавая бинарную маску. Этот шаг важен для того, чтобы субъект мог быть изменен независимо от фона.

Шаг 4: Маскирование Определенной Области (Ручная Маска или Автоматическая Маска) | ComfyUI Vid2Vid Workflow Часть 1

Этот шаг позволяет уточнить маску, созданную на предыдущем этапе. Вы можете либо вручную маскировать определенные области, используя другое программное обеспечение, либо полагаться на автоматическую функцию маскирования 'Segment Anything' в ComfyUI.

• Ручная Маска: Это нужно выполнять с помощью другого программного обеспечения вне ComfyUI для точного контроля.
• Автоматическая Маска: С помощью функции автоматической маскировки вы можете описать, что вы хотите замаскировать, используя простые слова в виджете подсказок. Модель создаст маску автоматически, хотя она может быть не такой точной, как ручная маска.

Версия по умолчанию использует ручную маску. Если вы хотите попробовать автоматическую, пожалуйста, обойдите группу ручной маски и включите группу автоматической маски. Дополнительно, подключите MASK из 'GroundingDinoSAM' (автоматическая маска) к 'GrowMaskWithBlur' вместо подключения 'ImageToMask' (ручная маска) к 'GrowMaskWithBlur'.

Шаг 5: Преобразование Маски | ComfyUI Vid2Vid Workflow Часть 1

Преобразование Маски конвертирует маску в изображение и позволяет выполнять дополнительные настройки, такие как добавление размытия к оригинальной маске. Это помогает смягчить края и сделать маску более естественной в сочетании с остальной частью изображения.

Шаг 6: Ввод Подсказки | ComfyUI Vid2Vid Workflow Часть 1

Введите текстовые подсказки, чтобы направить процесс анимации. Подсказка может описывать желаемый стиль, внешний вид или действия субъекта. Это важно для определения творческого направления анимации, чтобы конечный результат соответствовал задуманному художественному стилю.

Шаг 7: AnimateDiff | ComfyUI Vid2Vid Workflow Часть 1

Узел AnimateDiff создает плавные анимации, выявляя различия между последовательными кадрами и применяя эти изменения постепенно. Это помогает сохранить согласованность движения и уменьшить резкие изменения в анимации, что приводит к более плавному и естественному виду.

Шаг 8: IPAdapter | ComfyUI Vid2Vid Workflow Часть 1

Узел IPAdapter адаптирует входные изображения к желаемым выходным стилям или характеристикам. Это включает задачи, такие как колоризация и перенос стиля, обеспечивая, чтобы каждый кадр анимации сохранял согласованный вид и ощущение.

Шаг 9: ControlNet | ComfyUI Vid2Vid Workflow Часть 1

Использование ControlNet - v1.1 - Instruct Pix2Pix Version model улучшает диффузионные модели, позволяя им обрабатывать дополнительные входные условия (например, карты краев, карты сегментации). Это облегчает генерацию текста в изображение, управляя этими предварительно обученными моделями с условиями, специфичными для задачи, в сквозной манере, что позволяет проводить надежное обучение даже с меньшими наборами данных.

Шаг 10: Рендеринг | ComfyUI Vid2Vid Workflow Часть 1

На этапе Render обработанные кадры компилируются в финальное видео. Этот шаг гарантирует, что все отдельные кадры будут объединены бесшовно в согласованную анимацию, готовую для экспорта и дальнейшего использования.

Шаг 11: Композиция Фона | ComfyUI Vid2Vid Workflow Часть 1

Это включает композитинг анимированного субъекта с фоном. Вы можете добавить статичный или динамичный фон к анимации, обеспечивая, чтобы субъект плавно интегрировался с новым фоном для создания визуально привлекательного конечного продукта.

Используя рабочий процесс ComfyUI Vid2Vid Часть 1, вы можете создавать сложные анимации с точным контролем над каждым аспектом процесса, от композиции и маскирования до финального рендеринга.