APISR | Upscaler d'images/vidéos d'anime

1. APISR pour la résolution d'images d'anime | Workflow d'upscale ComfyUI

Ce workflow d'upscale ComfyUI intègre le modèle APISR (Anime Production-oriented Image Super-Resolution) pour upscaler des images et vidéos d'anime de basse qualité et basse résolution. De plus, il incorpore le modèle 4xAnimateSharp à des fins de comparaison.

Par défaut, le workflow est configuré pour l'upscale d'images. Pour upscaler des vidéos, il suffit de remplacer le nœud "load image" par le nœud "load video" et de remplacer le nœud "save image" par le nœud "combine video" pour une transition transparente.

2. Présentation d'APISR

APISR (Anime Production-oriented Image Super-Resolution) est conçu pour restaurer et améliorer les images et sources vidéo d'anime de basse qualité et basse résolution qui ont subi diverses dégradations dans des scénarios du monde réel. Il répond à l'intérêt croissant pour la super-résolution (SR) d'anime en s'écartant de l'application traditionnelle des techniques de SR photoréalistes, qui peuvent ne pas s'adapter adéquatement aux caractéristiques distinctives de l'anime.

Deux défis principaux sont identifiés dans la SR d'anime : la dégradation des lignes dessinées à la main en raison de la compression ou du vieillissement, et la présence d'artefacts de couleur indésirables. Pour y remédier, APISR introduit un modèle de dégradation d'image spécifiquement conçu pour simuler les effets de compression et aider à la restauration des lignes dessinées à la main. De plus, il propose une technique pour améliorer les lignes dessinées à la main pâles et vieillissantes en les fusionnant à partir d'images trop nettes.

Pour le problème des artefacts de couleur, souvent dus aux réseaux SR basés sur GAN, APISR introduit la perte perceptuelle jumelle équilibrée. Cette méthode combine des caractéristiques perceptuelles des domaines photoréaliste et anime, visant à réduire les incohérences de couleur et à améliorer la qualité visuelle des images d'anime super-résolues.

APISR introduit un pipeline de curation de données spécifiquement conçu pour l'anime, un modèle de dégradation d'image qui cible les défis uniques de la restauration d'anime, et une approche innovante pour traiter les artefacts de couleur dans l'entraînement des réseaux SR basés sur GAN. Ces méthodes se concentrent collectivement sur l'amélioration du processus de super-résolution pour l'anime en sélectionnant les images les plus informatives pour les jeux de données, en restaurant les lignes dessinées à la main dégradées et en améliorant la qualité visuelle en corrigeant les incohérences de couleur. L'efficacité de l'approche d'APISR est validée par des évaluations complètes sur des jeux de données SR d'anime du monde réel, montrant des avancées significatives par rapport aux techniques existantes.

3. Comment utiliser ComfyUI APISR pour la résolution d'images d'anime

Le modèle APISR est très convivial ; il suffit de sélectionner le modèle correspondant à la taille d'upscale souhaitée.

Pour plus d'informations, consultez le github et larticle