IC-Light | Reiluminação de Imagens

1. O que é IC-Light?

IC-Light é uma ferramenta de edição de imagens baseada em IA que se integra com modelos Stable Diffusion para realizar edições localizadas em imagens geradas. Ela funciona codificando a imagem em uma representação latente do espaço, aplicando edições em regiões específicas e, em seguida, decodificando a representação latente modificada de volta em uma imagem. Essa abordagem permite um controle preciso sobre o processo de edição, preservando o estilo geral e a coerência da imagem original.

Agora existem dois modelos lançados: modelo de reiluminação condicionado por texto e modelo condicionado por plano de fundo. Ambos os tipos recebem imagens de primeiro plano como entradas.

2. Como o IC-Light Funciona

Por baixo dos panos, o IC-Light aproveita o poder dos modelos Stable Diffusion para codificar e decodificar imagens. O processo pode ser dividido nas seguintes etapas:

2.1. Codificação: A imagem de entrada é passada através do VAE (Variational Autoencoder) do Stable Diffusion para obter uma representação compactada do espaço latente. 2.2. Edição: As edições desejadas são aplicadas em regiões específicas da representação latente. Isso é tipicamente feito concatenando a latente original com uma máscara indicando as áreas a serem modificadas, juntamente com os prompts de edição correspondentes. 2.3. Decodificação: A representação latente modificada é passada através do decodificador do Stable Diffusion para reconstruir a imagem editada. Ao operar no espaço latente, o IC-Light pode fazer edições localizadas enquanto mantém a coerência e o estilo geral da imagem.

3. Como Usar o ComfyUI IC-Light

O principal nó com o qual você trabalhará é o nó "IC-Light Apply", que lida com todo o processo de codificação, edição e decodificação da sua imagem.

3.1. Parâmetros de Entrada do "IC-Light Apply":

O nó "IC-Light Apply" requer três entradas principais:

• model: Este é o modelo base do Stable Diffusion que será usado para codificar e decodificar sua imagem.
• ic_model: Este é o modelo IC-Light pré-treinado que contém os pesos necessários para o processo de edição.
• c_concat: Esta é uma entrada especial que combina sua imagem original, a máscara indicando quais áreas editar e os prompts de edição que definem como essas áreas devem ser modificadas.

Para criar a entrada c_concat:

1. Use o nó VAEEncodeArgMax para codificar sua imagem original. Este nó garante que a representação latente mais provável da sua imagem seja obtida.
2. Use o nó ICLightApplyMaskGrey para criar uma versão mascarada da sua imagem. Este nó recebe sua imagem original e uma máscara como entrada e gera uma versão da imagem onde as áreas não mascaradas são acinzentadas.
3. Crie representações latentes dos seus prompts de edição. Esses prompts guiarão as modificações feitas nas regiões selecionadas da sua imagem.
4. Combine as representações latentes da sua imagem original, máscara e prompts de edição em uma única entrada para o nó "IC-Light Apply".

3.2. Parâmetros de Saída do "IC-Light Apply":

Após processar suas entradas, o nó "IC-Light Apply" gerará um único parâmetro:

• model: Este é o modelo Stable Diffusion com as modificações do IC-Light aplicadas.

Para gerar sua imagem editada final, basta conectar o modelo de saída aos nós apropriados no seu fluxo de trabalho do ComfyUI, como os nós KSampler e VAEDecode.

3.3. Dicas para Obter os Melhores Resultados:

1. Use máscaras de alta qualidade: Para garantir que suas edições sejam precisas e eficazes, certifique-se de que suas máscaras contornem com precisão as regiões que você deseja modificar.
2. Experimente diferentes prompts de edição: Os prompts de edição são o que orientam as modificações feitas nas regiões selecionadas da sua imagem. Sinta-se à vontade para experimentar diferentes prompts para obter o efeito desejado e não hesite em refinar seus prompts com base nos resultados obtidos.
3. Equilibre edições globais e locais: Embora o IC-Light seja ótimo para fazer edições localizadas, é importante considerar a composição geral e a coerência da sua imagem. Tente encontrar um equilíbrio entre edições focadas e ajustes globais para manter a integridade da sua arte gerada.

Para mais informações, visite github