Эпический CineFX | Рабочий процесс CogVideoX, ControlNet и Live Portrait

Что такое рабочий процесс ComfyUI CogVideoX

Он превращает ваши простые видеокадры в эпические кинематографические сцены с помощью интеграционного рабочего процесса ComfyUI CogVideoX. Этот рабочий процесс использует мощь CogVideoX, ControlNet и Live Portrait для создания визуальных эффектов профессионального уровня без необходимости в дорогом оборудовании. Независимо от того, являетесь ли вы независимым кинематографистом или создателем, изучающим видео производство с использованием ИИ, этот инструмент позволяет вам расширять творческие границы.

Ключевые особенности рабочего процесса CogVideoX

• CogVideoX: Генерируйте детализированные кинематографические сцены с точностью, обеспечиваемой ИИ.
• Интеграция ControlNet: Добавьте руководство по позам, краям и глубине для непревзойденного контроля над процессом трансформации.
• Live Portrait: Уточняйте актерскую игру и поддерживайте согласованность деталей лица.
• Выход сравнения: Анализируйте сгенерированные результаты рядом с оригинальными кадрами для уточнения и обмена.

Как использовать рабочий процесс CogVideoX

1. Основные компоненты рабочего процесса CogVideoX

Рабочий процесс CogVideoX включает в себя два основных компонента, разработанных для достижения исключительных кинематографических результатов:

1. Генерация видео с CogVideoX:
   • Этот этап обрабатывает кадры видео и интегрирует руководство ControlNet, обеспечивая точное выравнивание поз, краев и глубины для визуальных эффектов профессионального уровня.
2. Интеграция Live Portrait в CogVideoX:
   • Улучшает актерскую игру, уточняя детали лица и поддерживая согласованность между кадрами, идеально подходит для сцен, требующих детализированных выражений.
   

Советы по эффективному использованию рабочего процесса CogVideoX

• Рекомендация по умолчанию:
  • Начните с шага Генерация видео, чтобы оптимизировать время обработки и ресурсы. Это идеально подходит для большинства кинематографических трансформаций с использованием CogVideoX.
• Когда использовать Live Portrait:
  • Включите этот компонент, если детали актерской игры или выражения лица не переносятся точно во время начальной генерации видео. Это гарантирует, что конечный результат сохраняет естественный и целостный вид.

2. Запуск рабочего процесса CogVideoX

1. Загрузите свое видео:
   • Используйте узел Load Video для загрузки своих кадров.
   • Настройте количество кадров для обработки:
     • По умолчанию: 48 кадров (обучено на CogVideoX).
     • Более высокое количество кадров (например, 64) возможно с подходящими возможностями GPU.
     
2. Настройте разрешение:
   • Установите разрешение видео в узле Resize Image.
   • Рекомендуется: Ширина: 768, Высота: 432.
   
3. Конфигурация ControlNet:
   • Выберите желаемый режим управления с помощью узла Switch Node:
     • Вход1: Оригинальное видео для преобразований "изображение в изображение".
     • Вход2(Поза): Лучший для захвата движения персонажа и динамичных поз.
     • Вход3(Canny): Идеален для поддержания структуры сцены через обнаружение краев.
     • Вход4(Глубина): Обеспечивает пространственную согласованность, особенно полезен для сложных фонов.
   • Отрегулируйте силу ControlNet, чтобы сбалансировать точность ввода и творческую свободу.
   
4. Напишите подсказки:

   • Используйте положительные и отрицательные подсказки для определения эстетики сцены.

   • Пример положительной подсказки:

     Мистический лес с сияющими деревьями, кинематографический стиль, очень детализированный.

   

3. Обработка видео с рабочим процессом CogVideoX

1. Запустите генерацию видео:
   • Отключите Live Portrait изначально, чтобы сэкономить время обработки.
   • Очередьте свои подсказки и начните обработку.
   
2. Включите Live Portrait (опционально):
   • Используйте Live Portrait для уточнения деталей лица и актерской игры.
   • Добавьте конкретные выражения (например, "ярко улыбается") в подсказки для улучшенных результатов.

4. Сравнение видео с рабочим процессом CogVideoX

• Включите встроенный выход сравнения, чтобы оценить различия между оригинальными и сгенерированными видео.
• Используйте эту функцию, чтобы демонстрировать результаты или делиться ими в социальных сетях.

Продвинутые советы для рабочего процесса CogVideoX

• Оптимизация кадров:
  • Используйте "Каждый n-ый кадр" для более длинных видео, чтобы сократить время обработки, интерполируя недостающие кадры.
• Творческие подсказки:
  • Экспериментируйте с разнообразными подсказками для уникальных визуальных стилей.
• Тонкая настройка ControlNet:
  • Отрегулируйте силу ControlNet для большей творческой свободы или более строгого соблюдения входного видео.
  

Пример использования рабочего процесса CogVideoX

1. Загрузите видео с задним двором, где кто-то идет.

2. Примените следующую подсказку:

   Превратите задний двор в футуристический городской пейзаж с сияющими неоновыми огнями, кинематографический стиль.

3. Используйте ControlNet (Глубина) для пространственной согласованности.

4. Обработайте видео и уточните актерскую игру с Live Portrait, если необходимо.

5. Используйте функцию сравнения, чтобы продемонстрировать трансформацию.

Благодарности за рабочий процесс CogVideoX

Этот замечательный рабочий процесс был создан Mickmumpitz, чье творчество и техническое мастерство сделали это возможным. Полная заслуга принадлежит Mickmumpitz! Для получения полного руководства посетите его канал на YouTube: .