SVD (Stable Video Diffusion) + SD | Текст в Видео

1. ComfyUI Stable Video Diffusion (SVD) Workflow

Рабочий процесс ComfyUI бесшовно интегрирует технологии преобразования текста в изображение (Stable Diffusion) и изображения в видео (Stable Video Diffusion) для эффективного преобразования текста в видео. Этот рабочий процесс позволяет генерировать видео непосредственно из текстовых описаний, начиная с базового изображения, которое превращается в динамическую последовательность видео. Этот рабочий процесс способствует реализации анимаций или видео на основе текста.

2. Обзор Stable Video Diffusion (SVD)

2.1. Введение в Stable Video Diffusion (SVD)

Stable Video Diffusion (SVD) — это передовая технология, разработанная для преобразования статических изображений в динамический видеоконтент. Используя базовую модель изображения Stable Diffusion, SVD вводит движение в неподвижные изображения, облегчая создание коротких видеоклипов. Этот прогресс в моделях латентной диффузии, изначально разработанных для синтеза изображений, теперь включает временные измерения для анимации неподвижных визуальных элементов, создавая видео обычно в диапазоне от 2 до 5 секунд.

Stable Video Diffusion доступна в двух вариантах: стандартная SVD, способная генерировать видео с разрешением 576×1024 пикселей на 14 кадрах, и улучшенная SVD-XT, которая может производить до 25 кадров. Оба варианта поддерживают регулируемые частоты кадров от 3 до 30 кадров в секунду, удовлетворяя различные требования к созданию цифрового контента.

Обучение модели SVD включает трехэтапный процесс: начиная с модели изображения, переходя к видеомодели, предварительно обученной на обширном наборе видеоданных, и завершая выборкой высококачественных видеоклипов. Этот тщательный процесс подчеркивает значимость качества набора данных для оптимизации видеопроизводственных возможностей модели.

В основе модели Stable Video Diffusion лежит модель изображения Stable Diffusion 2.1, которая действует как фундаментальная основа изображения. Интеграция временной свертки и слоев внимания в оценщик шума U-Net превращает это в мощную видеомодель, интерпретируя латентные тензоры как видеопоследовательности. Эта модель использует обратную диффузию для одновременного удаления шума со всех кадров, подобно модели VideoLDM.

Оснащенная 1,5 миллиардами параметров и обученная на обширном видеонаборе данных, модель проходит дальнейшую тонкую настройку с использованием высококачественного видеонабора данных для достижения максимальной производительности. Две группы весов модели SVD доступны публично, предназначенные для создания видео на 14 и 25 кадров с разрешением 576×1024 соответственно.

2.2. Ключевые особенности Stable Video Diffusion (SVD)

При использовании Stable Video Diffusion в рабочем процессе ComfyUI вы можете настроить ключевые параметры для кастомизации вывода видео, включая bucket id движения, контролирующий интенсивность движения видео; кадры в секунду (fps), определяющий частоту кадров; и уровень увеличения, регулирующий уровень шума исходного изображения для различных степеней преобразования.

2.2.1. Motion Bucket ID: Эта функция предлагает пользователям возможность контролировать интенсивность движения видео. Настраивая этот параметр, вы можете определить количество движения, наблюдаемого в видео, от тонких жестов до более выраженных действий, в зависимости от желаемого визуального эффекта.

2.2.2. Frames Per Second (fps): Этот параметр является ключевым для определения скорости воспроизведения видео. Регулировка кадров в секунду позволяет создавать видео, которые могут либо захватывать быстрые динамики сцены, либо представлять эффект замедленной съемки, тем самым улучшая повествовательный аспект видеоконтента. Эта гибкость особенно полезна при создании широкого спектра видео, от быстрых рекламных роликов до более созерцательных, повествовательных произведений.

2.2.3. Параметр уровня увеличения: Этот параметр регулирует уровень шума исходного изображения, позволяя различные степени преобразования. Манипулируя этим параметром, вы можете контролировать степень изменения исходного изображения в процессе создания видео. Регулировка уровня увеличения позволяет сохранять более близкую верность оригинальному изображению или переходить к более абстрактным и художественным интерпретациям, расширяя тем самым творческие возможности.