SUPIR | Фотореалистичное улучшение изображений/видео

1. ComfyUI SUPIR для разрешения изображений | ComfyUI Upscale Workflow

Этот рабочий процесс ComfyUI Upscale использует SUPIR (Scaling-UP Image Restoration), передовую модель с открытым исходным кодом, предназначенную для улучшения изображений и видео. В этом рабочем процессе вы увидите, как SUPIR восстанавливает и улучшает изображения, достигая фотореалистичных результатов.

2. Обзор ComfyUI SUPIR

SUPIR, передовая технология улучшения изображений, сравнима с коммерческим программным обеспечением, таким как Magnific и Topaz AI. Наше руководство охватывает SUPIR upscaler wrapper node в рабочем процессе ComfyUI, который успешно улучшает и восстанавливает реалистичные изображения и видео.

Для улучшения изображений достаточно настроек по умолчанию этого рабочего процесса. Чтобы изменить его для улучшения видео, переключите "load image" на "load video" и измените выходной параметр с "save image" на "combine video" для обработки видеофайлов.

3. Введение в модель SUPIR

Технология Scaling-UP Image Restoration представляет собой прорывную модель улучшения и масштабирования изображений, представленную в статье Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild. SUPIR внедряет метод фотореалистичного восстановления изображений, используя генеративный приор вместе с масштабированием модели, обогащенный мультимодальными техниками, позволяющими восстанавливать изображения на основе текстовых подсказок, что значительно расширяет спектр её применения.

4. Как использовать ComfyUI SUPIR для разрешения изображений

4.1. Совместимые модели SUPIR

Перед использованием SUPIR убедитесь, что контрольные модели доступны:

• Две версии SDXL CLIP Encoder от OpenAI и LAION соответственно.
• Базовые модели SDXL и LLaVA, важные для начальных этапов обработки изображений.
• Дополнительные модели, такие как версии Juggernaut-XL, которые могут заменить базу SDXL в определённых сценариях для улучшенных фотореалистичных результатов.

4.2. Модели SUPIR

Доступны две ключевые версии SUPIR:

• SUPIR-v0Q: Оптимизирована для высокой обобщаемости и качества, подходит для широкого спектра изображений.
• SUPIR-v0F: Разработана для изображений с лёгкими повреждениями, сохраняет больше деталей в таких условиях

4.3. Ключевые параметры SUPIR

• scale_by: Коэффициент масштабирования для данных входных данных определяет, насколько увеличивается размер изображения во время восстановления.
• steps: Этот параметр указывает количество шагов для EDM Sampling Scheduler, вероятно, влияя на детализацию и качество процесса восстановления.
• cfg_scale: Это шкала руководства без классификатора для подсказок, влияющая на то, насколько сильно выходное изображение соответствует предоставленным текстовым подсказкам.
• positive-prompt и negative_prompt: Эти параметры позволяют пользователям направлять восстановление к желаемым качествам (positive prompt) и от нежелательных характеристик (negative prompt).
• s_churn и s_noise: Представляют собой оригинальные гиперпараметры EDM, контролирующие аспекты модели шума в процессе диффузии, влияя на текстуру и чёткость конечного изображения.
• color_fix_type: Этот параметр позволяет выбрать методы коррекции цвета после восстановления, включая варианты 'None', 'AdaIn' и 'Wavelet'.

4.4. Советы по производительности для SUPIR

• Требования к оборудованию: Для достижения оптимальных результатов при масштабировании с высоким разрешением с помощью SUPIR upscaler необходимо иметь достаточно мощное оборудование. Мы рекомендуем использовать машину с не менее 48 ГБ видеопамяти, такую как Extra Large Machine, доступную на RunComfy, для обработки интенсивных вычислительных задач по детализации изображений.
• Максимизация детализации изображений с помощью текстовых подсказок: Кроме того, чтобы максимально использовать потенциал передовых алгоритмов ИИ SUPIR, полностью используйте функцию детализированных подсказок. Это позволяет более точно управлять процессом восстановления, улучшая детализацию и реалистичность масштабированных изображений. Эффективно используя эти подсказки, SUPIR может создавать результаты, которые не только больше по размеру, но и превосходят по качеству.

5. Дополнительная информация о SUPIR

Технология восстановления изображений значительно выросла, теперь предоставляя визуально потрясающие и умные результаты. Этот рост в значительной степени связан с внедрением SUPIR Upscaler, который использует передовые генеративные модели для улучшения изображений.

5.1. Основные возможности модели SUPIR

• Надежные модели: В основе SUPIR Upscaler лежит мощная генеративная модель StableDiffusion-XL (SDXL) с 2,6 миллиардами параметров. Её поддерживает адаптерная модель, добавляющая ещё 600 миллионов параметров, что позволяет SUPIR Upscaler восстанавливать изображения с исключительной детализацией и точностью.

5.2. Достижения на основе данных

• Обширные тренировочные данные: SUPIR Upscaler обучен на наборе данных, состоящем из более чем 20 миллионов высококачественных изображений, каждое из которых аннотировано подробными описаниями. Этот набор данных обучает многомодальную языковую модель с 13 миллиардами параметров, улучшая способность SUPIR Upscaler создавать точные контентные подсказки для целевого восстановления изображений.

5.3. Инновационные технологии и стратегическая реализация

• Продвинутый дизайн: SUPIR Upscaler включает несколько стратегических улучшений, таких как ZeroSFT connector, который повышает эффективность и снижает вычислительные требования. Кроме того, его кодировщик изображений настроен для лучшей обработки деградации изображений, увеличивая точность результатов восстановления.
• Комплексное обучение: Помимо высококачественных изображений, набор данных также включает изображения низкого качества, негативные примеры. Это помогает SUPIR Upscaler научиться выявлять и исправлять визуальные дефекты, улучшая общее качество восстановления.

5.4. Баланс между улучшением и точностью

• Сложные техники: Несмотря на использование генеративных моделей, SUPIR Upscaler применяет новую технику выборки, чтобы сбалансировать качество улучшения с точностью оригинальных изображений. Это гарантирует, что при повышении визуального качества сохраняется подлинность оригинальных изображений.

Для более глубокого изучения возможностей SUPIR Upscaler и технических деталей, исследуйте ресурсы на его GitHub странице или основную научную статью. Эти ресурсы предоставляют исчерпывающую информацию о технологиях и стратегиях, которые делают SUPIR Upscaler лидером в области восстановления изображений.