SUPIR | 写真のようにリアルな画像/ビデオアップスケーラー

1. ComfyUI SUPIR for Image Resolution | ComfyUI Upscale Workflow

このComfyUI Upscaleワークフローは、最先端の画像とビデオの品質向上のためのオープンソースモデルであるSUPIR（Scaling-UP Image Restoration）を活用しています。このワークフローでは、SUPIRが画像を復元し、写真のようにリアルな結果を達成するためにアップスケーリングする方法を体験できます。

2. ComfyUI SUPIR Overview

画像アップスケーリング技術の最前線であるSUPIRは、MagnificやTopaz AIなどの商用ソフトウェアに匹敵します。このチュートリアルでは、リアルな画像とビデオのアップスケーリングと復元に長けているComfyUIワークフロー内のSUPIRアップスケーラーラッパーノードを取り上げています。

画像のアップスケーリングには、このワークフローのデフォルト設定で十分です。ビデオのアップスケーリング用に変更するには、"load image"から"load video"に切り替え、"save image"から"combine video"に出力を変更して、ビデオファイルに対応します。

3. Introduction to SUPIR Model

Scaling-UP Image Restoration技術は、論文**Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild**で紹介された画期的な品質向上とアップスケーリングのモデルです。SUPIRは、モデルスケーリングと組み合わせた生成プライアを使用した写真のようにリアルな画像復元手法を革新し、テキストプロンプトによって画像復元をガイドできるマルチモーダル技術によって強化されており、その適用範囲を大幅に広げています。

4. How to Use ComfyUI SUPIR for Image Resolution

4.1. SUPIR Compatible Models

SUPIRの使用に飛び込む前に、チェックポイントモデルにアクセスできることを確認してください。

• OpenAIとLAIONからそれぞれ提供されるSDXL CLIPエンコーダーの2つのバージョン。
• 画像処理の初期段階で重要なSDXLとLLaVaベースモデル。
• 特定のシナリオでSDXLベースを置き換えて、写真のようにリアルな結果を高めることができるJuggernaut-XLバージョンなどのオプションモデル。

4.2. SUPIR Models

SUPIRには2つの主要バージョンがあります。

• SUPIR-v0Q: 高い汎化性と品質に最適化されており、幅広い画像に適しています。
• SUPIR-v0F: 軽度の劣化がある画像用に調整されており、そのような条件下でより多くの詳細を保持します。

4.3. Key Parameters of SUPIR

• scale_by: 指定された入力のアップスケーリング比率は、復元中に画像サイズがどれだけ拡大されるかを決定します。
• steps: このパラメータは、EDMサンプリングスケジューラのステップ数を指定し、復元プロセスの詳細と品質に影響を与える可能性があります。
• cfg_scale: これは、プロンプトのclassifier-free guidanceスケールであり、出力が提供されたテキストプロンプトにどの程度強く従うかに影響します。
• positive-prompt & negative_prompt: これらのパラメータを使用すると、ユーザーは復元を目的の品質（positiveプロンプト）に向けて、望ましくない特性（negativeプロンプト）から遠ざけることができます。
• s_churn & s_noise: EDMのオリジナルのハイパーパラメータを表し、拡散プロセス内のノイズモデルの側面を制御し、最終的な画像のテクスチャと明瞭さに影響を与えます。
• color_fix_type: このパラメータでは、復元後のカラー補正方法を選択でき、'None'、'AdaIn'、'Wavelet'などのオプションがあります。

4.4. Performance Tips for SUPIR

• ハードウェア要件: SUPIRアップスケーラを使用して高解像度のアップスケーリングで最適な結果を得るには、十分に強力なハードウェアセットアップが不可欠です。高度な画像の詳細化の集中的な計算要求に対応するため、RunComfyで利用可能なエクストララージマシンなど、少なくとも48GBのVRAMを搭載したマシンの使用をお勧めします。
• テキストプロンプトを使用した画像詳細の最大化: さらに、SUPIRの高度なAIアルゴリズムの可能性を最大限に引き出すために、詳細なプロンプト機能を十分に活用してください。これにより、復元プロセスをより正確にガイドし、アップスケールされた画像の詳細とリアリズムを向上させることができます。これらのプロンプトを効果的に活用することで、SUPIRはサイズが大きいだけでなく、品質も優れた出力を生成できます。

5. More Details About the SUPIR

画像復元技術は大幅に進歩し、視覚的に驚くほど優れた、よりスマートな結果を提供するようになりました。この成長は、主に高度な生成モデルを利用して画像を強化するSUPIRアップスケーラの導入によるものです。

5.1. Core Capabilities of the SUPIR model

• 堅牢なモデル: SUPIRアップスケーラの中核は、26億のパラメータを持つ強力な生成モデルであるStableDiffusion-XL（SDXL）です。これは、6億のパラメータを追加するアダプターモデルによってサポートされており、SUPIRアップスケーラが非常に詳細かつ忠実に画像を復元できるようにしています。

5.2. Data-Driven Excellence

• 広範なトレーニングデータ: SUPIRアップスケーラは、詳細な説明が付けられた2,000万以上の高品質な画像のデータセットでトレーニングされています。このデータセットは、130億のパラメータを持つマルチモーダル言語モデルをトレーニングし、SUPIRアップスケーラが目的の画像復元のための正確なコンテンツプロンプトを生成する能力を高めます。

5.3. Innovative Technology and Strategic Implementation

• 高度な設計: SUPIRアップスケーラには、効率を改善し計算要求を減らすZeroSFTコネクタなど、いくつかの戦略的な拡張機能が含まれています。さらに、そのイメージエンコーダは画像の劣化をより適切に処理するように微調整されており、復元結果の精度を高めています。
• 包括的なトレーニング: 高品質の画像に加えて、データセットには品質の低いネガティブな例も含まれています。これは、SUPIRアップスケーラが視覚的な欠陥を特定して修正する方法を学習するのに役立ち、全体的な復元品質を向上させます。

5.4. Balancing Enhancement and Fidelity

• 洗練された技術: 生成モデルを使用しているにもかかわらず、SUPIRアップスケーラは独自のサンプリング手法を採用し、品質の向上と元の画像の忠実度のバランスを取っています。これにより、視覚的な品質が向上する一方で、元の画像の信憑性が維持されることが保証されます。

SUPIRアップスケーラの機能についてより深く理解し、より技術的な詳細については、そのGitHubページや基礎となる研究論文のリソースを探索してください。これらのリソースは、SUPIRアップスケーラを画像復元のリーダーとして確立する技術と戦略について包括的な洞察を提供します。