APISR | Повышение разрешения изображений/видео аниме

1. APISR для разрешения изображений аниме | ComfyUI Upscale Workflow

Этот рабочий процесс ComfyUI Upscale интегрирует модель APISR (Anime Production-oriented Image Super-Resolution) для повышения разрешения низкокачественных, низкоразрешенных изображений и видео аниме. Кроме того, он включает модель 4xAnimateSharp для целей сравнения.

По умолчанию рабочий процесс настроен для повышения разрешения изображений. Чтобы повысить разрешение видео, просто замените узел "load image" на узел "load video" и замените узел "save image" на узел "combine video" для бесшовного перехода.

2. Введение в APISR

APISR (Anime Production-oriented Image Super-Resolution) предназначен для восстановления и улучшения низкокачественных, низкоразрешенных изображений и видео аниме, которые подверглись различным ухудшениям в реальных условиях. Он отвечает на растущий интерес к суперразрешению аниме (SR), отклоняясь от традиционного применения фотореалистичных техник SR, которые могут не адекватно учитывать уникальные характеристики аниме.

Два основных вызова идентифицированы в аниме SR: ухудшение нарисованных вручную линий из-за сжатия или старения и наличие нежелательных цветовых артефактов. Чтобы справиться с этими вызовами, APISR вводит модель ухудшения изображения, специально разработанную для моделирования эффектов сжатия и помощи в восстановлении нарисованных вручную линий. Кроме того, он предлагает технику для улучшения слабых, стареющих нарисованных вручную линий путем слияния их из чрезмерно заостренных изображений.

Для проблемы цветовых артефактов, часто возникающих из-за GAN-based SR сетей, APISR вводит сбалансированную двойную перцептуальную потерю. Этот метод сочетает в себе перцептуальные особенности как из фотореалистичных, так и из аниме доменов, стремясь уменьшить цветовые несоответствия и улучшить визуальное качество суперразрешенных изображений аниме.

APISR вводит конвейер курирования данных, специально разработанный для аниме, модель ухудшения изображения, нацеленную на уникальные задачи восстановления аниме, и инновационный подход к решению проблемы цветовых артефактов в обучении GAN-based SR сетей. Эти методы совместно направлены на улучшение процесса суперразрешения для аниме путем выбора наиболее информативных кадров для наборов данных, восстановления ухудшенных нарисованных вручную линий и улучшения визуального качества за счет устранения цветовых несоответствий. Эффективность подхода APISR подтверждается комплексными оценками на реальных наборах данных аниме SR, показывая значительные улучшения по сравнению с существующими техниками.

3. Как использовать ComfyUI APISR для разрешения изображений аниме

Модель APISR очень удобна в использовании; просто выберите модель, соответствующую желаемому размеру повышения разрешения.

Для получения дополнительной информации, ознакомьтесь с этим на github и paper