SUPIR | 사진 같은 이미지/비디오 업스케일러

1. ComfyUI SUPIR for Image Resolution | ComfyUI Upscale Workflow

이 ComfyUI Upscale 워크플로우는 첨단 이미지 및 비디오 개선을 위해 설계된 최첨단 오픈 소스 모델인 SUPIR(Scaling-UP Image Restoration)을 활용합니다. 이 워크플로우에서는 SUPIR이 사진 같은 결과를 얻기 위해 어떻게 이미지를 복원하고 업스케일하는지 경험하게 될 것입니다.

2. ComfyUI SUPIR 개요

이미지 업스케일링 기술의 선두주자인 SUPIR은 Magnific이나 Topaz AI와 같은 상용 소프트웨어와 견줄만 합니다. 우리의 튜토리얼은 사실적인 이미지와 비디오를 업스케일하고 복원하는 데 능숙한 ComfyUI 워크플로우 내의 SUPIR 업스케일러 래퍼 노드를 포함합니다.

이미지 업스케일링을 위해서는 이 워크플로우의 기본 설정으로 충분할 것입니다. 비디오 업스케일링을 위해 수정하려면 "load image"에서 "load video"로 전환하고 "save image"에서 "combine video"로 출력을 변경하여 비디오 파일에 맞게 조정하세요.

3. SUPIR 모델 소개

Scaling-UP Image Restoration 기술은 Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild 논문에서 소개된 획기적인 개선 및 업스케일링 모델입니다. SUPIR은 모델 스케일링과 결합된 생성 사전 학습을 사용하는 사진 같은 이미지 복원 방법을 혁신하며, 텍스트 프롬프트로 안내되는 이미지 복원을 가능하게 하는 멀티모달 기술로 강화되어 그 적용 범위를 크게 넓힙니다.

4. 이미지 해상도를 위해 ComfyUI SUPIR을 사용하는 방법

4.1. SUPIR 호환 모델

SUPIR 사용법에 뛰어들기 전에, 체크포인트 모델이 접근 가능한지 확인하세요:

• OpenAI와 LAION에서 각각 제공하는 두 가지 버전의 SDXL CLIP Encoder.
• 이미지 처리의 초기 단계에 중요한 SDXL과 LLaVA 기본 모델.
• 특정 시나리오에서 SDXL 기본 모델을 대체하여 사실적인 결과를 향상시킬 수 있는 Juggernaut-XL 버전과 같은 선택적 모델.

4.2. SUPIR 모델

두 가지 주요 SUPIR 버전이 사용 가능합니다:

• SUPIR-v0Q: 높은 일반화와 품질에 최적화되어 다양한 이미지에 적합합니다.
• SUPIR-v0F: 가벼운 저하가 있는 이미지에 맞춰져 있어 그러한 조건에서 더 많은 디테일을 보존합니다.

4.3. SUPIR의 주요 매개변수

• scale_by: 주어진 입력에 대한 업스케일링 비율로, 복원 중 이미지 크기가 얼마나 증가하는지 결정합니다.
• steps: EDM 샘플링 스케줄러의 단계 수를 지정하는 이 매개변수는 복원 과정의 디테일과 품질에 영향을 미칠 가능성이 있습니다.
• cfg_scale: 프롬프트에 대한 분류기 없는 안내 척도로, 출력이 제공된 텍스트 프롬프트를 얼마나 강하게 따르는지에 영향을 줍니다.
• positive-prompt & negative_prompt: 이 매개변수를 사용하면 사용자가 복원을 원하는 품질(긍정적 프롬프트)로 안내하고 원치 않는 특성(부정적 프롬프트)에서 멀어지도록 할 수 있습니다.
• s_churn & s_noise: EDM의 원래 하이퍼파라미터를 나타내는 이것은 확산 프로세스 내의 노이즈 모델 측면을 제어하여 최종 이미지 텍스처와 선명도에 영향을 줍니다.
• color_fix_type: 이 매개변수를 사용하면 'None', 'AdaIn', 'Wavelet'을 포함한 옵션으로 복원 후 색상 보정 방법을 선택할 수 있습니다.

4.4. SUPIR의 성능 팁

• 하드웨어 요구 사항: SUPIR 업스케일러로 고해상도 업스케일링에서 최적의 결과를 얻으려면 충분히 강력한 하드웨어 설정이 필수적입니다. 고급 이미지 디테일링의 집약적인 연산 요구를 처리하려면 RunComfy에서 사용할 수 있는 Extra Large Machine과 같이 최소 48GB의 VRAM이 장착된 기기를 사용하는 것이 좋습니다.
• 텍스트 프롬프트로 이미지 디테일 최대화: 또한 SUPIR의 고급 AI 알고리즘의 잠재력을 최대한 활용하려면 자세한 프롬프트 기능을 최대한 활용하세요. 이를 통해 복원 프로세스를 더 정확하게 안내하여 업스케일된 이미지의 디테일과 사실성을 높일 수 있습니다. 이러한 프롬프트를 효과적으로 활용함으로써 SUPIR은 크기가 클 뿐만 아니라 품질도 우수한 출력을 생성할 수 있습니다.

5. SUPIR에 대한 더 자세한 내용

이미지 복원 기술은 엄청나게 성장하여 이제는 시각적으로 놀랍고 더 스마트한 결과를 제공합니다. 이러한 성장은 주로 고급 생성 모델을 활용하여 이미지를 향상시키는 SUPIR Upscaler의 도입 덕분입니다.

5.1. SUPIR 모델의 핵심 기능

• 강력한 모델: SUPIR Upscaler의 핵심은 26억 개의 매개변수를 가진 강력한 생성 모델인 StableDiffusion-XL(SDXL)입니다. 이는 6억 개의 매개변수를 추가하는 어댑터 모델의 지원을 받아 SUPIR Upscaler가 탁월한 디테일과 충실도로 이미지를 복원할 수 있게 합니다.

5.2. 데이터 기반 우수성

• 광범위한 학습 데이터: SUPIR Upscaler는 자세한 설명으로 주석이 달린 2천만 장 이상의 고품질 이미지 데이터셋으로 학습됩니다. 이 데이터셋은 130억 개의 매개변수를 가진 멀티모달 언어 모델을 학습시켜 SUPIR Upscaler의 목표 지향적 이미지 복원을 위한 정확한 콘텐츠 프롬프트 생성 능력을 향상시킵니다.

5.3. 혁신적인 기술과 전략적 구현

• 고급 설계: SUPIR Upscaler에는 효율성을 개선하고 연산 요구를 줄이는 ZeroSFT 커넥터와 같은 몇 가지 전략적 개선 사항이 포함되어 있습니다. 또한 이미지 인코더는 이미지 저하를 더 잘 처리하도록 미세 조정되어 복원 결과의 정확성을 높입니다.
• 포괄적인 학습: 고품질 이미지 외에도 데이터셋에는 품질이 낮은 부정적인 예시도 포함됩니다. 이는 SUPIR Upscaler가 시각적 결함을 식별하고 수정하는 방법을 학습하여 전반적인 복원 품질을 향상시키는 데 도움이 됩니다.

5.4. 개선과 충실도의 균형

• 정교한 기술: 생성 모델을 사용함에도 불구하고 SUPIR Upscaler는 개선 품질과 원본 이미지의 충실도 사이의 균형을 맞추기 위해 새로운 샘플링 기술을 사용합니다. 이를 통해 시각적 품질은 향상되는 동시에 원본 이미지의 진실성이 보존됩니다.

SUPIR Upscaler의 기능에 대해 더 깊이 알아보고 더 많은 기술적 세부 사항을 살펴보려면 GitHub 페이지 또는 기반이 되는 연구 논문의 리소스를 탐색해 보세요. 이러한 자료는 SUPIR Upscaler를 이미지 복원 분야의 선두주자로 자리매김하게 하는 기술과 전략에 대한 포괄적인 통찰력을 제공합니다.