APISR | Anime-Bild/Video-Upscaler

1. APISR für Anime-Bildauflösung | ComfyUI Upscale Workflow

Dieser ComfyUI Upscale Workflow integriert das APISR (Anime Production-oriented Image Super-Resolution) Modell zum Hochskalieren von Anime-Bildern und -Videos mit niedriger Qualität und Auflösung. Zusätzlich wird das 4xAnimateSharp-Modell zu Vergleichszwecken eingebunden.

Standardmäßig ist der Workflow für das Hochskalieren von Bildern konfiguriert. Um Videos hochzuskalieren, ersetzen Sie einfach den "load image" Knoten durch den "load video" Knoten und den "save image" Knoten durch den "combine video" Knoten für einen nahtlosen Übergang.

2. Einführung in APISR

APISR (Anime Production-oriented Image Super-Resolution) wurde entwickelt, um Anime-Bilder und -Videoquellen mit niedriger Qualität und Auflösung wiederherzustellen und zu verbessern, die in realen Szenarien verschiedene Beeinträchtigungen erfahren haben. Es entspricht dem wachsenden Interesse an der Anime-Superauflösung (SR), indem es von der traditionellen Anwendung fotorealistischer SR-Techniken abweicht, die möglicherweise nicht ausreichend auf die charakteristischen Merkmale von Anime eingehen.

Zwei Hauptherausforderungen werden bei Anime SR identifiziert: die Beeinträchtigung handgezeichneter Linien durch Kompression oder Alterung und das Vorhandensein unerwünschter Farbartefakte. Um diese anzugehen, führt APISR ein Bilddegradationsmodell ein, das speziell entwickelt wurde, um Kompressionseffekte zu simulieren und bei der Wiederherstellung handgezeichneter Linien zu helfen. Zusätzlich wird eine Technik zur Verbesserung schwacher, alternder handgezeichneter Linien vorgeschlagen, indem diese aus übermäßig geschärften Bildern zusammengeführt werden.

Für das Problem der Farbartefakte, die häufig bei GAN-basierten SR-Netzwerken auftreten, führt APISR den ausgewogenen Twin Perceptual Loss ein. Diese Methode kombiniert perzeptuelle Merkmale sowohl aus der fotorealistischen als auch aus der Anime-Domäne mit dem Ziel, Farbinkonsistenzen zu reduzieren und die visuelle Qualität von hochaufgelösten Anime-Bildern zu verbessern.

APISR führt eine speziell für Anime entwickelte Datensatz-Kuratierungs-Pipeline ein, ein Bilddegradationsmodell, das auf die einzigartigen Herausforderungen der Anime-Restaurierung abzielt, und einen innovativen Ansatz zur Behandlung von Farbartefakten beim Training von GAN-basierten SR-Netzwerken. Diese Methoden konzentrieren sich gemeinsam darauf, den Superauflösungsprozess für Anime zu verbessern, indem die informativsten Frames für Datensätze ausgewählt, beeinträchtigte handgezeichnete Linien wiederhergestellt und die visuelle Qualität durch Behebung von Farbinkonsistenzen verbessert werden. Die Wirksamkeit des APISR-Ansatzes wird durch umfassende Bewertungen an realen Anime-SR-Datensätzen validiert und zeigt signifikante Fortschritte gegenüber bestehenden Techniken.

3. Wie man ComfyUI APISR für die Anime-Bildauflösung verwendet

Das APISR-Modell ist sehr benutzerfreundlich; wählen Sie einfach das Modell entsprechend der gewünschten Hochskalierungsgröße aus.

Für weitere Informationen, schauen Sie auf github und im paper nach.