Mochi Edit UnSampling | Видео-в-Видео

Узлы и связанный с ними рабочий процесс полностью разработаны logtd и Kijai. Мы выражаем всю заслуженную благодарность logtd и Kijai за эту инновационную работу. На платформе RunComfy мы просто представляем их вклад в сообщество. Мы глубоко ценим работу logtd и Kijai!

Рабочий процесс Mochi Edit - это инструмент, предназначенный для того, чтобы позволить пользователям изменять видеоконтент с помощью текстовых подсказок. Он поддерживает задачи, такие как добавление или изменение элементов (например, размещение шляп на персонажах), настройка общего стиля или замена объектов в кадре.

1. Mochi Edit Unsampling

В основе Mochi Edit лежит техника увеличения разрешения. Техника увеличения разрешения Mochi Edit использует упрощенный подход к редактированию видео и изображений, позволяя выполнять преобразования через мультимодальные подсказки без необходимости дополнительных шагов предварительной обработки или внешних сетевых модулей. Основная идея увеличения разрешения Mochi Edit заключается в манипулировании латентным представлением видео напрямую, а не выполнении сложных операций, таких как обнаружение лиц или оценка позы, которые являются обычными в традиционных конвейерах генерации изображений. Этот метод соответствует более широкой цели создания более гибкого и упрощенного процесса генерации изображений, подобного способности GPT генерировать текст из любой входной подсказки. С техникой увеличения разрешения Mochi Edit пользователи могут генерировать различные стили и модификации напрямую из мультимодального описания, делая процесс гораздо более интуитивным и эффективным.

Вкратце, Mochi Edit позволяет вам создавать небольшие вариации видео, которое вы загружаете. Например, копировать и переносить движение объекта на другой объект или изменять настройки фона, изменять свойства объекта и т.д.

2. Как использовать рабочий процесс Mochi Edit?

В этом рабочем процессе, Левые Зеленые узлы - это входные данные для Видео и текста, Средние Фиолетовые узлы - это узлы увеличения и уменьшения разрешения Mochi, а Правый Синий - это узел вывода видео.

2.1 Загрузить узел видео

• Нажмите и загрузите ваше видео в узел загрузки видео
• frame_load_cap: по умолчанию 32 кадра. Выше 32 кадров наблюдаются артефакты прыжков. Держите менее 3 секунд (32) кадров для лучших результатов.
• skip_frames: Пропустите кадры, если хотите начать с определенного кадра

Используйте квадратный формат (512 x 512) или горизонтальный (848 x 480) размер в узле увеличения разрешения. Другие дают ошибку.

2.2 Подсказки

Это экспериментальное использование, иногда может работать, а иногда нет или полностью изменяет оригинальное видео.

• Используйте небольшую вариацию объекта в качестве подсказки.
• Сильная вариация может исказить и полностью изменить изображение.
• Попробуйте разные seed, если не получаете нужные результаты.

2.3 Группы узлов выборки и увеличения разрешения

Выборка и увеличивающие разрешение Ksampler настроены автором на лучшие настройки. Если настройки изменены небрежно, это может привести к странным нежелательным результатам. Не стесняйтесь экспериментировать с:

• Seed у выборщика для вариаций
• num_steps и linear_step для изменения качества или скорости рендеринга.
• eta, start_step и end_Step для изменения силы увеличения разрешения, начального и конечного процента.

2.4 Модели Mochi

Модели загружаются из этого в ваш comfyui автоматически. Это займет около 5-10 минут при первой загрузке модели размером 10.3 ГБ.

Техника увеличения разрешения Mochi Edit революционизирует редактирование видео и изображений, упрощая процесс и устраняя необходимость в сложной предварительной обработке или дополнительных модулях. Этот инновационный подход позволяет пользователям легко создавать высококачественные, индивидуализированные визуальные материалы с помощью мультимодальных подсказок. Сочетая гибкость и доступность, Mochi Edit прокладывает путь к более интуитивному и креативному будущему генерации изображений.