Видео с переналожением света | Vid2Vid

Обзор рабочего процесса создания видео с переналожением света

Этот рабочий процесс позволяет вам ввести видео и одну или несколько световых масок, чтобы создать видео с переналожением света. Он поддерживает три сценария:

1. Движущийся объект с движущейся световой маской
2. Неподвижный объект с движущейся световой маской
3. Движущийся объект с неподвижной световой маской

Хотя этот рабочий процесс создания видео с переналожением света является экспериментальным и может не давать идеальных результатов, он представляет собой значительный шаг к не-AnimateDiff конвейерам, которые ставят приоритет на точность продукта, а не на идеальное слияние кадров в процессе переналожения света.

Входные данные и переменные для создания видео с переналожением света

Для запуска рабочего процесса и достижения желаемых эффектов переналожения света в видео, вы должны предоставить следующие входные данные и переменные:

• Исходное видео: Входное видео, которое нужно осветить
• Количество кадров: Общее количество кадров для обработки
• Количество начальных кадров для пропуска: Количество кадров для пропуска с начала видео
• Неподвижный или движущийся объект: Булевский переключатель, указывающий, неподвижен ли объект или движется
• Размер длинной стороны (изменение размера): Размер, до которого будут изменены кадры на основе длинной стороны
• Две световые маски: Либо начальная и конечная позиции световой маски (для движущейся световой маски) либо одна и та же световая маска (для неподвижной световой маски)
• Световой запрос: Текстовый запрос, описывающий желаемое освещение
• CFG: Значение от 1.05 до 3 для управления силой изменения освещения (более высокие значения приводят к более заметным изменениям, но также повышают вероятность артефактов)
• Деноиз: Значение от 0.3 до 0.6 для управления силой шумоподавления (более высокие значения приводят к меньшему мерцанию, но могут сделать световую маску больше похожей на фильтр)

Как работает рабочий процесс создания видео с переналожением света

1. Рабочий процесс использует IC-Light для осветления каждого кадра независимо.
2. Для каждого кадра создается латентный образ на основе смеси кадра объекта и соответствующего кадра световой маски.
3. Латентный образ создается при низком значении денойза, чтобы принудительно наложить световую маску на конечный результат.
4. Поскольку IC-Light может терять детали при низком денойзе, детали и оригинальные цвета возвращаются с помощью частотного разделения в конце рабочего процесса, чтобы сохранить качество видео после переналожения света.