SUPIR | 照片级真实感图像/视频放大器

1. ComfyUI SUPIR 图像分辨率提升 | ComfyUI 图像放大工作流

这个 ComfyUI 图像放大工作流使用 SUPIR(Scaling-UP Image Restoration),一个先进的开源模型,专为高级图像和视频增强而设计。在这个工作流中,你将体验 SUPIR 如何修复和放大图像以达到照片级真实感效果。

2. ComfyUI SUPIR 概述

SUPIR 是图像放大技术的前沿,可与 Magnific 和 Topaz AI 等商业软件相媲美。我们的教程包括 ComfyUI 工作流中的 SUPIR 放大器包装节点,它擅长放大和修复逼真的图像和视频。

对于图像放大,这个工作流的默认设置已经足够。要将其修改为视频放大,只需将 "load image" 切换为 "load video",并将输出从 "save image" 更改为 "combine video" 即可处理视频文件。

3. SUPIR 模型简介

Scaling-UP Image Restoration 技术是一种开创性的增强和放大模型,由论文 Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild 提出。SUPIR 创新性地使用生成先验知识结合模型缩放的方法实现照片级真实感图像修复,并通过多模态技术允许使用文本提示引导图像修复,大大扩展了其应用范围。

4. 如何使用 ComfyUI SUPIR 进行图像分辨率提升

4.1. SUPIR 兼容模型

在深入使用 SUPIR 之前,请确保可以访问这些检查点模型:

• 分别来自 OpenAI 和 LAION 的两个版本的 SDXL CLIP 编码器。
• SDXL 和 LLaVA 基础模型,对图像处理的初始阶段至关重要。
• 可选的模型如 Juggernaut-XL 版本,可以在特定场景下替代 SDXL 基础模型以获得更好的照片级真实感结果。

4.2. SUPIR 模型

SUPIR 有两个主要版本:

• SUPIR-v0Q: 针对高泛化性和质量进行了优化,适用于广泛的图像。
• SUPIR-v0F: 专为轻度退化的图像量身定制,在这种条件下可以保留更多细节。

4.3. SUPIR 的关键参数

• scale_by: 给定输入的放大比率,决定了修复过程中图像尺寸的增加程度。
• steps: 此参数指定 EDM 采样调度器的步数,可能会影响修复过程的细节和质量。
• cfg_scale: 这是提示的无分类器引导尺度,影响输出与提供的文本提示的一致程度。
• positive-prompt 和 negative_prompt: 这些参数允许用户引导修复朝向期望的特征(正向提示)和远离不期望的特征(负向提示)。
• s_churn 和 s_noise: 代表 EDM 的原始超参数,控制扩散过程中噪声模型的方面,影响最终图像的纹理和清晰度。
• color_fix_type: 此参数允许选择修复后的颜色校正方法,选项包括'None'、'AdaIn' 和 'Wavelet'。

4.4. SUPIR 性能优化技巧

• 硬件要求: 为了在使用 SUPIR 放大器进行更高分辨率放大时获得最佳效果,必须拥有足够强大的硬件配置。我们建议使用至少具有 48GB VRAM 的机器,例如 RunComfy 提供的超大型机器,以满足高级图像细节处理的密集计算需求。
• 使用文本提示最大化图像细节: 此外,为了最大限度地发挥 SUPIR 先进 AI 算法的潜力,请充分利用详细提示功能。这允许您更精确地引导修复过程,增强放大图像的细节和真实感。通过有效利用这些提示,SUPIR 不仅可以生成更大尺寸的输出,而且质量也更高。

5. 关于 SUPIR 的更多细节

图像修复技术已经取得了巨大进步,现在可以提供视觉上令人惊叹且更智能的结果。这主要归功于 SUPIR 放大器的引入,它利用先进的生成模型来增强图像。

5.1. SUPIR 模型的核心能力

• 强大的模型: SUPIR 放大器的核心是 StableDiffusion-XL(SDXL),一个拥有 26 亿参数的强大生成模型。它得到了一个增加了 6 亿参数的适配器模型的支持,使 SUPIR 放大器能够以出色的细节和保真度修复图像。

5.2. 数据驱动的卓越表现

• 广泛的训练数据: SUPIR 放大器在超过 2000 万张高质量图像的数据集上进行训练,每张图像都带有详细的描述。该数据集训练了一个 130 亿参数的多模态语言模型,增强了 SUPIR 放大器生成针对性图像修复的精确内容提示的能力。

5.3. 创新技术和战略实施

• 先进设计: SUPIR 放大器包括几项战略性增强,如 ZeroSFT 连接器,可提高效率并降低计算需求。此外,其图像编码器经过微调,可更好地处理图像退化,提高修复结果的准确性。
• 全面训练: 除了高质量图像外,数据集还包括低质量的负面样本。这有助于 SUPIR 放大器学习识别和纠正视觉缺陷,提高整体修复质量。

5.4. 在增强和保真度之间取得平衡

• 复杂的技术: 尽管使用生成模型,SUPIR 放大器采用了一种新颖的采样技术来平衡增强质量与原始图像的保真度。这确保在提高视觉质量的同时,保留了原始图像的真实性。

要更深入地了解 SUPIR 放大器的功能和更多技术细节,请探索其 GitHub 页面上的资源或基础研究论文。这些资源提供了全面的见解,介绍了确立 SUPIR 放大器在图像修复领域领先地位的技术和策略。