APISR | 애니메이션 이미지/비디오 업스케일러

1. APISR for Anime Image Resolution | ComfyUI Upscale Workflow

이 ComfyUI Upscale Workflow는 저품질, 저해상도 애니메이션 이미지와 비디오를 업스케일링하기 위해 APISR (Anime Production-oriented Image Super-Resolution) 모델을 통합합니다. 또한 비교 목적으로 4xAnimateSharp 모델도 포함되어 있습니다.

기본적으로 이 Workflow는 이미지 업스케일링용으로 구성되어 있습니다. 비디오를 업스케일링하려면 "load image" 노드를 "load video" 노드로 교체하고 "save image" 노드를 "combine video" 노드로 교체하면 원활하게 전환할 수 있습니다.

2. APISR 소개

APISR (Anime Production-oriented Image Super-Resolution)은 실제 시나리오에서 다양한 열화를 겪은 저품질, 저해상도 애니메이션 이미지와 비디오 소스를 복원하고 향상시키도록 설계되었습니다. 애니메이션 초해상도(SR)에 대한 관심이 높아짐에 따라, 포토리얼리스틱 SR 기술의 전통적인 적용 방식은 애니메이션의 독특한 특성을 적절히 수용하지 못할 수 있으므로 이에서 벗어나고자 합니다.

애니메이션 SR에서는 두 가지 주요 과제가 확인됩니다. 압축이나 노화로 인한 손으로 그린 선의 저하와 원치 않는 색상 아티팩트의 존재입니다. 이를 해결하기 위해 APISR은 압축 효과를 시뮬레이션하고 손으로 그린 선의 복원을 지원하도록 특별히 설계된 이미지 저하 모델을 도입합니다. 또한 과도하게 선명해진 이미지에서 흐릿하고 노화된 손으로 그린 선을 병합하는 기술을 제안합니다.

색상 아티팩트 문제는 종종 GAN 기반 SR 네트워크에서 발생하는데, APISR은 이를 해결하기 위해 균형 잡힌 쌍둥이 지각 손실을 도입합니다. 이 방법은 포토리얼리스틱 도메인과 애니메이션 도메인 모두에서 지각적 특징을 결합하여 색상 불일치를 줄이고 초해상도 애니메이션 이미지의 시각적 품질을 향상시키는 것을 목표로 합니다.

APISR은 애니메이션을 위해 특별히 설계된 데이터셋 큐레이션 파이프라인, 애니메이션 복원의 고유한 과제를 대상으로 하는 이미지 저하 모델, GAN 기반 SR 네트워크 훈련에서 색상 아티팩트를 해결하기 위한 혁신적인 접근 방식을 소개합니다. 이러한 방법들은 데이터셋에 가장 유익한 프레임을 선택하고, 저하된 손으로 그린 선을 복원하며, 색상 불일치를 해결하여 시각적 품질을 개선함으로써 애니메이션의 초해상도 프로세스를 향상시키는 데 집중합니다. APISR 접근 방식의 효과는 실제 애니메이션 SR 데이터셋에 대한 포괄적인 평가를 통해 검증되었으며, 기존 기술 대비 상당한 발전을 보여줍니다.

3. ComfyUI APISR을 사용한 애니메이션 이미지 해상도 개선 방법

APISR 모델은 매우 사용자 친화적입니다. 원하는 업스케일 크기에 해당하는 모델을 선택하기만 하면 됩니다.

자세한 내용은 github과 paper를 참조하세요.