CCSR | Стабильное увеличение разрешения изображений/видео

1. ComfyUI CCSR | ComfyUI Workflow для увеличения разрешения

Этот Workflow ComfyUI включает модель CCSR (Content Consistent Super-Resolution), разработанную для улучшения согласованности содержимого в задачах суперразрешения. После применения модели CCSR имеется дополнительный шаг, который включает еще одно увеличение разрешения путем добавления шума и использования модели ControlNet recolor. Это экспериментальная функция для исследования пользователями.

По умолчанию этот Workflow настроен для увеличения разрешения изображений. Чтобы увеличить разрешение видео, просто замените "load image" на "load video" и измените "save image" на "combine video."

2. Введение в CCSR

Предобученные латентные диффузионные модели признаны за их потенциал в улучшении перцептивного качества результатов суперразрешения (SR) изображений. Однако эти модели часто дают переменные результаты для идентичных изображений с низким разрешением при различных условиях шума. Эта вариативность, хотя и полезна для генерации текст-изображение, создает трудности для задач SR, требующих согласованности в сохранении содержимого.

Чтобы повысить надежность SR на основе диффузионных моделей, CCSR (Content Consistent Super-Resolution) использует стратегию, сочетающую диффузионные модели для уточнения структур изображений с генеративными состязательными сетями (GANs) для улучшения мелких деталей. Вводится стратегия обучения с неравномерными временными шагами для обучения компактной диффузионной сети. Эта сеть эффективно и стабильно восстанавливает основные структуры изображения, в то время как предобученный декодер вариационного автоэнкодера (VAE) тонко настраивается через состязательное обучение для улучшения деталей. Этот подход помогает CCSR значительно уменьшить стохастичность, связанную с методами SR на основе диффузионных моделей, тем самым улучшая согласованность содержимого в результатах SR и ускоряя процесс генерации изображений.

3. Как использовать ComfyUI CCSR для увеличения разрешения изображений

3.1. Модели CCSR

real-world_ccsr.ckpt: модель CCSR для восстановления изображений в реальных условиях.

bicubic_ccsr.ckpt: модель CCSR для восстановления бикубических изображений.

3.2. Ключевые параметры в CCSR

-scale_by: Этот параметр указывает масштаб суперразрешения, определяя, насколько увеличиваются входные изображения или видео.

-steps: Относится к количеству шагов в диффузионном процессе. Он контролирует, сколько итераций проходит модель для уточнения деталей и структур изображения.

-t_max и -t_min: Эти параметры устанавливают максимальные и минимальные пороги для стратегии обучения с неравномерными временными шагами, используемой в модели CCSR.

-sampling_method:

• CCSR (Normal, Untiled): Этот подход использует нормальный, неразделенный метод выборки. Он прост и не делит изображение на плитки для обработки. Хотя это может быть эффективно для обеспечения согласованности содержимого по всему изображению, это также требует большого объема видеопамяти (VRAM). Этот метод лучше всего подходит для сценариев, где VRAM достаточно, и требуется максимальная согласованность по всему изображению.
• CCSR_Tiled_MixDiff: Этот разделенный подход обрабатывает каждую плитку изображения отдельно, что помогает более эффективно управлять использованием VRAM, не требуя, чтобы все изображение находилось в памяти одновременно. Однако значительным недостатком является возможность появления видимых швов на границах плиток, поскольку каждая плитка обрабатывается независимо, что может привести к несогласованностям на границах плиток.
• CCSR_Tiled_VAE_Gaussian_Weights: Этот метод направлен на устранение проблемы швов, наблюдаемых в подходе CCSR_Tiled_MixDiff, путем использования гауссовых весов для более плавного смешивания плиток. Это может значительно уменьшить видимость швов, обеспечивая более согласованный вид по границам плиток. Однако это смешивание иногда может быть менее точным и может вводить дополнительный шум в суперразрешенное изображение, влияя на общее качество изображения.

-tile_size, и -tile_stride: Эти параметры являются частью функции диффузии по плиткам, которая интегрирована в CCSR для экономии памяти GPU во время вывода. Разделение на плитки означает обработку изображения по частям, что может быть более эффективным с точки зрения памяти. Параметр -tile_size указывает размер каждой плитки, а -tile_diffusion_stride контролирует шаг или перекрытие между плитками.

-color_fix_type: Этот параметр указывает метод, используемый для цветокоррекции или настройки в процессе суперразрешения. adain является одним из методов, используемых для цветокоррекции, чтобы цвета в суперразрешенном изображении максимально соответствовали оригинальному изображению.

4. Подробнее о CCSR

Суперразрешение изображений, направленное на восстановление изображений с высоким разрешением (HR) из изображений с низким разрешением (LR), решает проблему, вызванную ухудшением качества при захвате изображений. В то время как существующие методы SR на основе глубокого обучения в основном сосредоточены на оптимизации архитектуры нейронных сетей против простых, известных деградаций, они не справляются с сложными деградациями, встречающимися в реальных сценариях. Недавние достижения включают разработку наборов данных и методов, имитирующих более сложные деградации изображений, чтобы приблизиться к этим реальным вызовам.

Исследование также подчеркивает ограничения традиционных функций потерь, таких как ℓ1 и MSE, которые склонны давать чрезмерно сглаженные детали в результатах SR. Хотя потеря SSIM и перцепционная потеря смягчают эту проблему в некоторой степени, достижение реалистичных деталей изображения остается сложной задачей. GANs оказались успешным подходом для улучшения деталей изображений, но их применение к природным изображениям часто приводит к визуальным артефактам из-за разнообразия природных сцен.

Модели денойзинга диффузионных вероятностных моделей (DDPMs) и их варианты показали значительные обещания, превосходя GANs в генерации разнообразных и высококачественных априорных данных для восстановления изображений, включая SR. Эти модели, однако, испытывают трудности с адаптацией к сложным и разнообразным деградациям, присутствующим в реальных приложениях.

Подход CCSR стремится решить эти проблемы, обеспечивая стабильные и согласованные результаты суперразрешения. Он использует диффузионные априоры для генерации согласованных структур и применяет генеративное состязательное обучение для улучшения деталей и текстур. Применяя стратегию выборки с неравномерными временными шагами и тонко настраивая предобученный декодер VAE, CCSR достигает стабильных, согласованных результатов SR более эффективно, чем существующие методы SR на основе диффузионных априоров.

Для дополнительной информации, проверьте это на github или paper