SUPIR | Upscaler d'image/vidéo photo-réaliste

1. ComfyUI SUPIR pour la résolution d'image | Workflow d'upscale ComfyUI

Ce workflow d'upscale ComfyUI utilise SUPIR (Scaling-UP Image Restoration), un modèle open-source de pointe conçu pour l'amélioration avancée des images et des vidéos. Dans ce workflow, vous découvrirez comment SUPIR restaure et upscale les images pour obtenir des résultats photo-réalistes.

2. Aperçu de ComfyUI SUPIR

SUPIR, à la pointe de la technologie d'upscaling d'image, est comparable à des logiciels commerciaux comme Magnific et Topaz AI. Notre tutoriel englobe le nœud wrapper d'upscaler SUPIR dans le workflow ComfyUI, qui excelle dans l'upscaling et la restauration d'images et de vidéos réalistes.

Pour l'upscaling d'image, la configuration par défaut de ce workflow suffira. Pour le modifier pour l'upscaling vidéo, passez de "load image" à "load video" et modifiez la sortie de "save image" à "combine video" pour traiter les fichiers vidéo.

3. Introduction au modèle SUPIR

La technologie Scaling-UP Image Restoration est un modèle révolutionnaire d'amélioration et d'upscaling introduit par l'article Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild. SUPIR innove avec une méthode de restauration d'image photo-réaliste utilisant un a priori génératif couplé à la mise à l'échelle de modèle, enrichie par des techniques multimodales permettant une restauration d'image guidée par des prompts textuels, ce qui élargit considérablement son spectre d'application.

4. Comment utiliser ComfyUI SUPIR pour la résolution d'image

4.1. Modèles compatibles SUPIR

Avant de vous plonger dans l'utilisation de SUPIR, assurez-vous que les modèles de point de contrôle sont accessibles :

• Deux versions de l'encodeur SDXL CLIP d'OpenAI et LAION, respectivement.
• Les modèles de base SDXL et LLaVA, cruciaux pour les premières étapes du traitement d'image.
• Des modèles optionnels comme les versions Juggernaut-XL qui peuvent remplacer la base SDXL dans des scénarios spécifiques pour des résultats photoréalistes améliorés.

4.2. Modèles SUPIR

Deux versions clés de SUPIR sont disponibles :

• SUPIR-v0Q : Optimisé pour une généralisation et une qualité élevées, adapté à un large éventail d'images.
• SUPIR-v0F : Conçu pour les images avec une dégradation légère, préservant plus de détails dans de telles conditions.

4.3. Paramètres clés de SUPIR

• scale_by : Le ratio d'upscaling pour les entrées données détermine dans quelle mesure la taille de l'image est augmentée pendant la restauration.
• steps : Ce paramètre spécifie le nombre d'étapes pour le planificateur d'échantillonnage EDM, influençant probablement le détail et la qualité du processus de restauration.
• cfg_scale : Il s'agit de l'échelle de guidage sans classificateur pour les prompts, affectant la force avec laquelle la sortie adhère aux prompts textuels fournis.
• positive-prompt & negative_prompt : Ces paramètres permettent aux utilisateurs de guider la restauration vers les qualités souhaitées (prompt positif) et à l'écart des caractéristiques indésirables (prompt négatif).
• s_churn & s_noise : Représentant les hyperparamètres originaux d'EDM, ils contrôlent des aspects du modèle de bruit dans le processus de diffusion, affectant la texture et la clarté finales de l'image.
• color_fix_type : Ce paramètre permet de sélectionner les méthodes de correction des couleurs après la restauration, avec des options incluant 'None', 'AdaIn' et 'Wavelet'.

4.4. Conseils de performance pour SUPIR

• Configuration matérielle requise : Pour obtenir des résultats optimaux dans l'upscaling à plus haute résolution avec l'upscaler SUPIR, il est essentiel de disposer d'une configuration matérielle suffisamment puissante. Nous recommandons d'utiliser une machine équipée d'au moins 48 Go de VRAM, comme la machine Extra Large disponible sur RunComfy, pour gérer les exigences de calcul intensives du détaillage avancé des images.
• Maximiser les détails de l'image avec les prompts textuels : De plus, pour maximiser le potentiel des algorithmes d'IA avancés de SUPIR, utilisez pleinement la fonctionnalité de prompt détaillé. Cela vous permet de guider le processus de restauration avec plus de précision, améliorant les détails et le réalisme des images upscalées. En tirant efficacement parti de ces prompts, SUPIR peut produire des résultats non seulement plus grands en taille mais aussi supérieurs en qualité.

5. Plus de détails sur SUPIR

La technologie de restauration d'image a énormément progressé, fournissant désormais des résultats visuellement époustouflants et plus intelligents. Cette croissance est en grande partie due à l'introduction de l'upscaler SUPIR, qui utilise des modèles génératifs avancés pour améliorer les images.

5.1. Capacités fondamentales du modèle SUPIR

• Modèles robustes : Au cœur de l'upscaler SUPIR se trouve StableDiffusion-XL (SDXL), un puissant modèle génératif avec 2,6 milliards de paramètres. Il est soutenu par un modèle adaptateur ajoutant 600 millions de paramètres supplémentaires, permettant à l'upscaler SUPIR de restaurer les images avec des détails et une fidélité exceptionnels.

5.2. Excellence guidée par les données

• Données d'entraînement étendues : L'upscaler SUPIR est entraîné sur un ensemble de données de plus de 20 millions d'images de haute qualité, chacune annotée avec des descriptions détaillées. Cet ensemble de données entraîne un modèle de langage multimodal de 13 milliards de paramètres, améliorant la capacité de l'upscaler SUPIR à produire des prompts de contenu précis pour une restauration d'image ciblée.

5.3. Technologie innovante et implémentation stratégique

• Conception avancée : L'upscaler SUPIR inclut plusieurs améliorations stratégiques comme le connecteur ZeroSFT, qui améliore l'efficacité et réduit les exigences de calcul. De plus, son encodeur d'image est affiné pour mieux gérer la dégradation de l'image, augmentant la précision des résultats de restauration.
• Entraînement complet : Au-delà des images de haute qualité, l'ensemble de données comprend également des exemples négatifs de qualité inférieure. Cela aide l'upscaler SUPIR à apprendre à identifier et à corriger les défauts visuels, améliorant la qualité globale de la restauration.

5.4. Équilibrer l'amélioration et la fidélité

• Techniques sophistiquées : Malgré l'utilisation de modèles génératifs, l'upscaler SUPIR emploie une nouvelle technique d'échantillonnage pour équilibrer la qualité de l'amélioration avec la fidélité des images d'origine. Cela garantit que, bien que la qualité visuelle soit améliorée, l'authenticité des images d'origine est préservée.

Pour une analyse plus approfondie des capacités de l'upscaler SUPIR et plus de détails techniques, explorez les ressources sur sa page GitHub ou larticle de recherche fondateur. Ces ressources fournissent des informations complètes sur les technologies et les stratégies qui établissent l'upscaler SUPIR comme un leader dans la restauration d'image.