SUPIR | Upscaler de Imagem/Vídeo Foto-Realista

1. ComfyUI SUPIR para Resolução de Imagem | Fluxo de Trabalho de Upscale do ComfyUI

Este fluxo de trabalho de Upscale do ComfyUI utiliza o SUPIR (Scaling-UP Image Restoration), um modelo de código aberto de ponta projetado para aprimoramento avançado de imagem e vídeo. Neste fluxo de trabalho, você experimentará como o SUPIR restaura e aumenta a escala de imagens para obter resultados foto-realistas.

2. Visão Geral do ComfyUI SUPIR

O SUPIR, a vanguarda da tecnologia de upscaling de imagem, é comparável a softwares comerciais como Magnific e Topaz AI. Nosso tutorial abrange o nó wrapper do upscaler SUPIR dentro do fluxo de trabalho do ComfyUI, que é hábil em upscaling e restauração de imagens e vídeos realistas.

Para upscaling de imagens, a configuração padrão deste fluxo de trabalho será suficiente. Para modificá-lo para upscaling de vídeo, mude de "load image" para "load video" e altere a saída de "save image" para "combine video" para atender a arquivos de vídeo.

3. Introdução ao Modelo SUPIR

A tecnologia Scaling-UP Image Restoration é um modelo inovador de aprimoramento e upscaling introduzido pelo artigo Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild. O SUPIR inova com um método de restauração de imagem foto-realista usando um prior generativo combinado com escalonamento de modelo, enriquecido por técnicas multimodais que permitem a restauração de imagens guiada por prompts textuais, o que amplia significativamente seu espectro de aplicação.

4. Como Usar o ComfyUI SUPIR para Resolução de Imagem

4.1. Modelos Compatíveis com SUPIR

Antes de mergulhar no uso do SUPIR, certifique-se de que os modelos de checkpoint estejam acessíveis:

• Duas versões do SDXL CLIP Encoder da OpenAI e LAION, respectivamente.
• Modelos base SDXL e LLaVA, cruciais para os estágios iniciais do processamento de imagens.
• Modelos opcionais como as versões Juggernaut-XL, que podem substituir a base SDXL em cenários específicos para resultados fotorrealistas aprimorados.

4.2. Modelos SUPIR

Duas versões principais do SUPIR estão disponíveis:

• SUPIR-v0Q: Otimizado para alta generalização e qualidade, adequado para uma ampla gama de imagens.
• SUPIR-v0F: Adaptado para imagens com degradação leve, preservando mais detalhes nessas condições.

4.3. Parâmetros-Chave do SUPIR

• scale_by: A taxa de upscaling para as entradas dadas determina o quanto o tamanho da imagem é aumentado durante a restauração.
• steps: Este parâmetro especifica o número de etapas para o Agendador de Amostragem EDM, provavelmente influenciando o detalhe e a qualidade do processo de restauração.
• cfg_scale: Esta é a escala de orientação livre de classificador para prompts, afetando o quão fortemente a saída adere aos prompts textuais fornecidos.
• positive-prompt & negative_prompt: Esses parâmetros permitem que os usuários guiem a restauração em direção a qualidades desejadas (prompt positivo) e longe de características indesejadas (prompt negativo).
• s_churn & s_noise: Representando hiperparâmetros originais do EDM, isso controla aspectos do modelo de ruído dentro do processo de difusão, impactando a textura e a clareza da imagem final.
• color_fix_type: Este parâmetro permite a seleção de métodos de correção de cor pós-restauração, com opções incluindo 'None', 'AdaIn' e 'Wavelet'.

4.4. Dicas de Desempenho para SUPIR

• Requisitos de Hardware: Para obter resultados ideais em upscaling de alta resolução com o upscaler SUPIR, é essencial ter uma configuração de hardware suficientemente poderosa. Recomendamos o uso de uma máquina equipada com pelo menos 48GB de VRAM, como a Máquina Extra Large disponível no RunComfy, para lidar com as demandas computacionais intensivas de detalhamento avançado de imagens.
• Maximizando os Detalhes da Imagem com Prompts de Texto: Além disso, para maximizar o potencial dos algoritmos avançados de IA do SUPIR, faça uso total do recurso de prompt detalhado. Isso permite que você oriente o processo de restauração com mais precisão, aprimorando os detalhes e o realismo das imagens ampliadas. Ao utilizar efetivamente esses prompts, o SUPIR pode produzir resultados que não são apenas maiores em tamanho, mas também superiores em qualidade.

5. Mais Detalhes Sobre o SUPIR

A tecnologia de restauração de imagens cresceu tremendamente, agora entregando resultados visualmente impressionantes e mais inteligentes. Esse crescimento se deve em grande parte à introdução do Upscaler SUPIR, que utiliza modelos generativos avançados para aprimorar imagens.

5.1. Capacidades Principais do Modelo SUPIR

• Modelos Robustos: O coração do Upscaler SUPIR é o StableDiffusion-XL (SDXL), um poderoso modelo generativo com 2,6 bilhões de parâmetros. Ele é apoiado por um modelo adaptador que adiciona outros 600 milhões de parâmetros, permitindo que o Upscaler SUPIR restaure imagens com detalhes e fidelidade excepcionais.

5.2. Excelência Orientada por Dados

• Dados de Treinamento Extensivos: O Upscaler SUPIR é treinado em um conjunto de dados com mais de 20 milhões de imagens de alta qualidade, cada uma anotada com descrições detalhadas. Esse conjunto de dados treina um modelo de linguagem multimodal de 13 bilhões de parâmetros, aprimorando a capacidade do Upscaler SUPIR de produzir prompts de conteúdo precisos para restauração de imagem direcionada.

5.3. Tecnologia Inovadora e Implementação Estratégica

• Design Avançado: O Upscaler SUPIR inclui vários aprimoramentos estratégicos, como o conector ZeroSFT, que melhora a eficiência e reduz as demandas computacionais. Além disso, seu codificador de imagem é ajustado para lidar melhor com a degradação da imagem, aumentando a precisão dos resultados da restauração.
• Treinamento Abrangente: Além de imagens de alta qualidade, o conjunto de dados também inclui exemplos negativos de qualidade inferior. Isso ajuda o Upscaler SUPIR a aprender a identificar e corrigir falhas visuais, aprimorando a qualidade geral da restauração.

5.4. Equilibrando Aprimoramento e Fidelidade

• Técnicas Sofisticadas: Apesar de usar modelos generativos, o Upscaler SUPIR emprega uma nova técnica de amostragem para equilibrar a qualidade do aprimoramento com a fidelidade das imagens originais. Isso garante que, enquanto a qualidade visual é aprimorada, a autenticidade das imagens originais é preservada.

Para um mergulho mais profundo nas capacidades do Upscaler SUPIR e mais detalhes técnicos, explore os recursos em sua página do GitHub ou o artigo de pesquisa fundamental. Esses recursos fornecem insights abrangentes sobre as tecnologias e estratégias que estabelecem o Upscaler SUPIR como líder em restauração de imagens.