SUPIR | Fotorealistischer Bild-/Video-Upscaler

1. ComfyUI SUPIR für Bildauflösung | ComfyUI Upscale Workflow

Dieser ComfyUI Upscale Workflow verwendet SUPIR (Scaling-UP Image Restoration), ein hochmodernes Open-Source-Modell für fortschrittliche Bild- und Videoverbesserung. In diesem Workflow werden Sie erleben, wie SUPIR Bilder wiederherstellt und hochskaliert, um fotorealistische Ergebnisse zu erzielen.

2. ComfyUI SUPIR Übersicht

SUPIR, die Speerspitze der Bildskalierungstechnologie, ist vergleichbar mit kommerzieller Software wie Magnific und Topaz AI. Unser Tutorial umfasst den SUPIR Upscaler Wrapper-Knoten innerhalb des ComfyUI-Workflows, der für die Hochskalierung und Wiederherstellung realistischer Bilder und Videos geeignet ist.

Für die Bildskalierung reicht die Standardeinstellung dieses Workflows aus. Um ihn für die Videoskalierung zu modifizieren, wechseln Sie von "load image" zu "load video" und ändern Sie die Ausgabe von "save image" zu "combine video", um Videodateien zu verarbeiten.

3. Einführung in das SUPIR-Modell

Die Scaling-UP Image Restoration Technologie ist ein bahnbrechendes Verbesserungs- und Hochskalierungsmodell, das durch das Paper Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild eingeführt wurde. SUPIR innoviert mit einer fotorealistischen Bildwiederherstellungsmethode, die einen generativen Prior mit Modellskalierung kombiniert und durch multimodale Techniken angereichert wird, die eine textgesteuerte Bildwiederherstellung ermöglichen, was das Anwendungsspektrum erheblich erweitert.

4. Wie man ComfyUI SUPIR für die Bildauflösung verwendet

4.1. SUPIR-kompatible Modelle

Bevor Sie in die Verwendung von SUPIR einsteigen, stellen Sie sicher, dass die Checkpoint-Modelle verfügbar sind:

• Zwei Versionen des SDXL CLIP Encoders von OpenAI bzw. LAION.
• SDXL und LLaVA Basismodelle, die für die ersten Schritte der Bildverarbeitung entscheidend sind.
• Optionale Modelle wie Juggernaut-XL-Versionen, die in bestimmten Szenarien die SDXL-Basis ersetzen können, um fotorealistische Ergebnisse zu verbessern.

4.2. SUPIR-Modelle

Es sind zwei Hauptversionen von SUPIR verfügbar:

• SUPIR-v0Q: Optimiert für hohe Generalisierung und Qualität, geeignet für ein breites Spektrum an Bildern.
• SUPIR-v0F: Zugeschnitten auf Bilder mit leichter Beeinträchtigung, bewahrt mehr Details unter solchen Bedingungen.

4.3. Schlüsselparameter von SUPIR

• scale_by: Das Hochskalierungsverhältnis für gegebene Eingaben bestimmt, um wie viel die Bildgröße während der Wiederherstellung erhöht wird.
• steps: Dieser Parameter gibt die Anzahl der Schritte für den EDM Sampling Scheduler an und beeinflusst wahrscheinlich die Detailtreue und Qualität des Wiederherstellungsprozesses.
• cfg_scale: Dies ist die klassifikatorfreie Führungsskala für Prompts und beeinflusst, wie stark die Ausgabe den bereitgestellten Textaufforderungen folgt.
• positive-prompt & negative_prompt: Diese Parameter ermöglichen es Benutzern, die Wiederherstellung in Richtung gewünschter Qualitäten (positiver Prompt) und weg von unerwünschten Merkmalen (negativer Prompt) zu lenken.
• s_churn & s_noise: Sie repräsentieren die ursprünglichen Hyperparameter von EDM und steuern Aspekte des Rauschmodells innerhalb des Diffusionsprozesses, was sich auf die endgültige Bildtextur und -klarheit auswirkt.
• color_fix_type: Dieser Parameter ermöglicht die Auswahl von Farbkorrekturmethoden nach der Wiederherstellung, mit Optionen wie 'None', 'AdaIn' und 'Wavelet'.

4.4. Leistungstipps für SUPIR

• Hardware-Anforderungen: Um optimale Ergebnisse bei der Hochskalierung mit höherer Auflösung mit dem SUPIR-Upscaler zu erzielen, ist es wichtig, über eine ausreichend leistungsstarke Hardware-Konfiguration zu verfügen. Wir empfehlen die Verwendung einer Maschine mit mindestens 48 GB VRAM, wie z. B. der Extra Large Machine, die bei RunComfy verfügbar ist, um die hohen Rechenanforderungen der fortschrittlichen Bilddetaillierung zu bewältigen.
• Maximierung der Bilddetails mit Textprompts: Um das Potenzial der fortschrittlichen KI-Algorithmen von SUPIR voll auszuschöpfen, nutzen Sie außerdem die Funktion für detaillierte Prompts in vollem Umfang. Dies ermöglicht es Ihnen, den Wiederherstellungsprozess präziser zu steuern und die Detailtreue und den Realismus der hochskalierten Bilder zu verbessern. Durch effektive Nutzung dieser Prompts kann SUPIR Ausgaben erzeugen, die nicht nur größer, sondern auch qualitativ hochwertiger sind.

5. Weitere Details zum SUPIR

Die Technologie zur Bildwiederherstellung hat enorme Fortschritte gemacht und liefert nun Ergebnisse, die visuell beeindruckend und intelligenter sind. Dieses Wachstum ist weitgehend auf die Einführung des SUPIR-Upscalers zurückzuführen, der fortschrittliche generative Modelle zur Bildverbesserung einsetzt.

5.1. Kernfähigkeiten des SUPIR-Modells

• Robuste Modelle: Das Herzstück des SUPIR-Upscalers ist der StableDiffusion-XL (SDXL), ein leistungsstarkes generatives Modell mit 2,6 Milliarden Parametern. Es wird durch ein Adaptermodell mit weiteren 600 Millionen Parametern unterstützt, das es dem SUPIR-Upscaler ermöglicht, Bilder mit außergewöhnlichen Details und Genauigkeit wiederherzustellen.

5.2. Datengesteuerte Exzellenz

• Umfangreiche Trainingsdaten: Der SUPIR-Upscaler wird auf einem Datensatz von über 20 Millionen hochwertigen Bildern trainiert, die jeweils mit detaillierten Beschreibungen versehen sind. Dieser Datensatz trainiert ein multimodales Sprachmodell mit 13 Milliarden Parametern, das die Fähigkeit des SUPIR-Upscalers verbessert, präzise Inhaltsaufforderungen für gezielte Bildwiederherstellung zu erstellen.

5.3. Innovative Technologie und strategische Implementierung

• Fortschrittliches Design: Der SUPIR-Upscaler enthält mehrere strategische Verbesserungen wie den ZeroSFT-Konnektor, der die Effizienz verbessert und den Rechenaufwand reduziert. Zusätzlich ist sein Bildencoder feinabgestimmt, um Bildbeeinträchtigungen besser zu behandeln, was die Genauigkeit der Wiederherstellungsergebnisse erhöht.
• Umfassendes Training: Neben hochwertigen Bildern enthält der Datensatz auch minderwertige, negative Beispiele. Dies hilft dem SUPIR-Upscaler, visuelle Fehler zu erkennen und zu korrigieren, was die Gesamtqualität der Wiederherstellung verbessert.

5.4. Ausgleich von Verbesserung und Wiedergabetreue

• Ausgeklügelte Techniken: Obwohl generative Modelle verwendet werden, setzt der SUPIR-Upscaler eine neuartige Abtasttechnik ein, um die Verbesserungsqualität mit der Wiedergabetreue der Originalbilder auszubalancieren. Dies stellt sicher, dass die visuelle Qualität gesteigert wird, während die Authentizität der Originalbilder erhalten bleibt.

Für einen tieferen Einblick in die Fähigkeiten des SUPIR-Upscalers und weitere technische Details, erkunden Sie die Ressourcen auf seiner GitHub-Seite oder dem zugrundeliegenden Forschungspapier. Diese Ressourcen bieten umfassende Einblicke in die Technologien und Strategien, die den SUPIR-Upscaler als führend in der Bildwiederherstellung etablieren.