Updated: 5/17/2024
Olá, companheiros artistas de IA! 👋 Bem-vindo ao nosso tutorial amigável para iniciantes sobre o ComfyUI, uma ferramenta incrivelmente poderosa e flexível para criar impressionantes obras de arte geradas por IA. 🎨 Neste guia, vamos orientá-lo através dos fundamentos do ComfyUI, explorar seus recursos e ajudá-lo a liberar seu potencial para levar sua arte de IA para o próximo nível. 🚀
Nós vamos cobrir:
ComfyUI é como ter uma varinha mágica 🪄 para criar impressionantes obras de arte geradas por IA com facilidade. No seu cerne, ComfyUI é uma interface gráfica de usuário (GUI) baseada em nós construída em cima da Stable Diffusion, um modelo de aprendizado profundo de última geração que gera imagens a partir de descrições de texto. 🌟 Mas o que torna o ComfyUI realmente especial é como ele capacita artistas como você a liberar sua criatividade e dar vida às suas ideias mais selvagens.
Imagine uma tela digital onde você pode construir seus próprios fluxos de trabalho exclusivos de geração de imagens conectando diferentes nós, cada um representando uma função ou operação específica. 🧩 É como construir uma receita visual para suas obras-primas geradas por IA!
Quer gerar uma imagem do zero usando um prompt de texto? Existe um nó para isso! Precisa aplicar um sampler específico ou ajustar o nível de ruído? Basta adicionar os nós correspondentes e assistir a mágica acontecer. ✨
Mas aqui está a melhor parte: ComfyUI divide o fluxo de trabalho em elementos reorganizáveis, dando a você a liberdade de criar seus próprios fluxos de trabalho personalizados, adaptados à sua visão artística. 🖼️ É como ter um conjunto de ferramentas personalizado que se adapta ao seu processo criativo.
AUTOMATIC1111 é a GUI padrão para Stable Diffusion. Então, você deveria usar o ComfyUI em vez disso? Vamos comparar:
✅ Benefícios de usar o ComfyUI:
❌ Desvantagens de usar o ComfyUI:
Acreditamos que a melhor maneira de aprender o ComfyUI é mergulhando em exemplos e experimentando-o em primeira mão. 🙌 É por isso que criamos este tutorial único que se destaca dos outros. Neste tutorial, você encontrará um guia detalhado, passo a passo, que você pode seguir.
Mas aqui está a melhor parte: 🌟 Integramos o ComfyUI diretamente a esta página da web! Você poderá interagir com exemplos do ComfyUI em tempo real à medida que avança pelo guia.🌟 Vamos mergulhar!
Vamos começar com o caso mais simples: gerar uma imagem a partir de texto. Clique em Queue Prompt para executar o fluxo de trabalho. Após uma curta espera, você deve ver sua primeira imagem gerada! Para verificar sua fila, basta clicar em View Queue.
Aqui está um fluxo de trabalho padrão de texto para imagem para você experimentar:
O fluxo de trabalho do ComfyUI consiste em dois blocos de construção básicos: Nós e Arestas.
Primeiro, selecione um modelo Stable Diffusion Checkpoint no nó Load Checkpoint. Clique no nome do modelo para ver os modelos disponíveis. Se clicar no nome do modelo não fizer nada, você pode precisar fazer upload de um modelo personalizado.
Você verá dois nós chamados CLIP Text Encode (Prompt). O prompt superior está conectado à entrada positive do nó KSampler, enquanto o prompt inferior está conectado à entrada negative. Portanto, insira seu prompt positivo no superior e seu prompt negativo no inferior.
O nó CLIP Text Encode converte o prompt em tokens e os codifica em embeddings usando o codificador de texto.
💡 Dica: Use a sintaxe (keyword:weight) para controlar o peso de uma palavra-chave, por exemplo, (keyword:1.2) para aumentar seu efeito ou (keyword:0.8) para diminuí-lo.
Clique em Queue Prompt para executar o fluxo de trabalho. Após uma curta espera, sua primeira imagem será gerada!
O poder do ComfyUI está em sua configurabilidade. Entender o que cada nó faz permite ajustá-los às suas necessidades. Mas antes de mergulhar nos detalhes, vamos dar uma olhada no processo da Stable Diffusion para entender melhor como o ComfyUI funciona.
O processo da Stable Diffusion pode ser resumido em três etapas principais:
Agora que temos uma compreensão de alto nível do processo da Stable Diffusion, vamos mergulhar nos componentes e nós principais do ComfyUI que tornam esse processo possível.
O nó Load Checkpoint no ComfyUI é crucial para selecionar um modelo Stable Diffusion. Um modelo Stable Diffusion consiste em três componentes principais: MODEL, CLIP e VAE. Vamos explorar cada componente e sua relação com os nós correspondentes no ComfyUI.
É importante observar que o VAE é um componente separado do modelo de linguagem CLIP. Enquanto o CLIP se concentra no processamento de prompts de texto, o VAE lida com a conversão entre os espaços de pixels e latente.
O nó CLIP Text Encode no ComfyUI é responsável por pegar os prompts fornecidos pelo usuário e alimentá-los no modelo de linguagem CLIP. CLIP é um poderoso modelo de linguagem que entende o significado semântico das palavras e pode associá-las a conceitos visuais. Quando um prompt é inserido no nó CLIP Text Encode, ele passa por um processo de transformação onde cada palavra é convertida em embeddings. Esses embeddings são vetores de alta dimensão que capturam as informações semânticas das palavras. Ao transformar os prompts em embeddings, o CLIP permite que o MODEL gere imagens que refletem com precisão o significado e a intenção dos prompts fornecidos.
No processo de texto para imagem, a geração começa com uma imagem aleatória no espaço latente. Essa imagem aleatória serve como o estado inicial com o qual o MODEL trabalha. O tamanho da imagem latente é proporcional ao tamanho real da imagem no espaço de pixels. No ComfyUI, você pode ajustar a altura e a largura da imagem latente para controlar o tamanho da imagem gerada. Além disso, você pode definir o tamanho do lote para determinar o número de imagens geradas em cada execução.
Os tamanhos ideais para imagens latentes dependem do modelo Stable Diffusion específico que está sendo usado. Para modelos SD v1.5, os tamanhos recomendados são 512x512 ou 768x768, enquanto para modelos SDXL, o tamanho ideal é 1024x1024. O ComfyUI fornece uma variedade de proporções de aspecto comuns para escolher, como 1:1 (quadrado), 3:2 (paisagem), 2:3 (retrato), 4:3 (paisagem), 3:4 (retrato), 16:9 (widescreen) e 9:16 (vertical). É importante observar que a largura e a altura da imagem latente devem ser divisíveis por 8 para garantir a compatibilidade com a arquitetura do modelo.
O VAE (Variational AutoEncoder) é um componente crucial no modelo Stable Diffusion que lida com a conversão de imagens entre o espaço de pixels e o espaço latente. Ele consiste em duas partes principais: um Image Encoder e um Image Decoder.
O Image Encoder pega uma imagem no espaço de pixels e a compacta em uma representação latente de dimensão inferior. Esse processo de compressão reduz significativamente o tamanho dos dados, permitindo um processamento e armazenamento mais eficientes. Por exemplo, uma imagem de tamanho 512x512 pixels pode ser compactada em uma representação latente de tamanho 64x64.
Por outro lado, o Image Decoder, também conhecido como VAE Decoder, é responsável por reconstruir a imagem a partir da representação latente de volta para o espaço de pixels. Ele pega a representação latente compactada e a expande para gerar a imagem final.
Usar um VAE oferece várias vantagens:
No entanto, também existem algumas desvantagens a serem consideradas:
Apesar dessas limitações, o VAE desempenha um papel vital no modelo Stable Diffusion, permitindo uma conversão eficiente entre o espaço de pixels e o espaço latente, facilitando uma geração mais rápida e um controle mais preciso sobre as imagens geradas.
O nó KSampler no ComfyUI é o coração do processo de geração de imagem na Stable Diffusion. Ele é responsável por remover o ruído da imagem aleatória no espaço latente para corresponder ao prompt fornecido pelo usuário. O KSampler emprega uma técnica chamada difusão reversa, onde ele refina iterativamente a representação latente removendo o ruído e adicionando detalhes significativos com base na orientação dos embeddings CLIP.
O nó KSampler oferece vários parâmetros que permitem aos usuários ajustar o processo de geração de imagem:
Seed: O valor da semente controla o ruído inicial e a composição da imagem final. Ao definir uma semente específica, os usuários podem obter resultados reproduzíveis e manter a consistência em várias gerações.
Control_after_generation: Este parâmetro determina como o valor da semente muda após cada geração. Ele pode ser definido para aleatorizar (gerar uma nova semente aleatória para cada execução), incrementar (aumentar o valor da semente em 1), decrementar (diminuir o valor da semente em 1) ou fixo (manter o valor da semente constante).
Step: O número de etapas de amostragem determina a intensidade do processo de refinamento. Valores mais altos resultam em menos artefatos e imagens mais detalhadas, mas também aumentam o tempo de geração.
Sampler_name: Este parâmetro permite que os usuários escolham o algoritmo de amostragem específico usado pelo KSampler. Algoritmos de amostragem diferentes podem produzir resultados ligeiramente diferentes e ter velocidades de geração variadas.
Scheduler: O agendador controla como o nível de ruído muda em cada etapa do processo de remoção de ruído. Ele determina a taxa na qual o ruído é removido da representação latente.
Denoise: O parâmetro de denoise define a quantidade de ruído inicial que deve ser apagada pelo processo de remoção de ruído. Um valor de 1 significa que todo o ruído será removido, resultando em uma imagem limpa e detalhada.
Ao ajustar esses parâmetros, você pode ajustar o processo de geração de imagem para obter os resultados desejados.
Na RunComfy, criamos a melhor experiência ComfyUI online só para você. Diga adeus a instalações complicadas! 🎉 Experimente o ComfyUI Online agora e libere seu potencial artístico como nunca antes! 🎉
O fluxo de trabalho Imagem para Imagem gera uma imagem com base em um prompt e uma imagem de entrada. Experimente você mesmo!
Para usar o fluxo de trabalho Imagem para Imagem:
Para mais fluxos de trabalho ComfyUI premium, visite nossa 🌟Lista de Fluxos de Trabalho ComfyUI🌟
Graças à sua configurabilidade extrema, o ComfyUI é uma das primeiras GUIs a suportar o modelo Stable Diffusion XL. Vamos experimentá-lo!
Para usar o fluxo de trabalho ComfyUI SDXL:
Vamos mergulhar em algo mais complexo: inpainting! Quando você tem uma ótima imagem, mas deseja modificar partes específicas, inpainting é o melhor método. Experimente aqui!
Para usar o fluxo de trabalho de inpainting:
Outpainting é outra técnica emocionante que permite expandir suas imagens além de seus limites originais. 🌆 É como ter uma tela infinita para trabalhar!
Para usar o fluxo de trabalho ComfyUI Outpainting:
Para mais fluxos de trabalho premium de restauração/upscale, visite nossa 🌟Lista de Fluxos de Trabalho ComfyUI🌟
A seguir, vamos explorar o ComfyUI upscale. Apresentaremos três fluxos de trabalho fundamentais para ajudá-lo a fazer upscale com eficiência.
Existem dois métodos principais para fazer upscale:
Duas maneiras de alcançar isso:
Outro método de upscale é o Upscale Latent, também conhecido como Hi-res Latent Fix Upscale, que faz upscale diretamente no espaço latente.
Para mais fluxos de trabalho premium de restauração/upscale, visite nossa 🌟Lista de Fluxos de Trabalho ComfyUI🌟
Prepare-se para levar sua arte de IA para o próximo nível com o ControlNet, uma tecnologia inovadora que revoluciona a geração de imagens!
ControlNet é como uma varinha mágica 🪄 que concede um controle sem precedentes sobre suas imagens geradas por IA. Ele trabalha em conjunto com modelos poderosos como a Stable Diffusion, aprimorando suas capacidades e permitindo que você oriente o processo de criação de imagens como nunca antes!
Imagine ser capaz de especificar as bordas, poses humanas, profundidade ou mesmo mapas de segmentação da imagem desejada. 🌠 Com o ControlNet, você pode fazer exatamente isso!
Se você está ansioso para mergulhar mais profundamente no mundo do ControlNet e liberar todo o seu potencial, nós o cobrimos. Confira nosso tutorial detalhado sobre como dominar o ControlNet no ComfyUI! 📚 Ele está repleto de guias passo a passo e exemplos inspiradores para ajudá-lo a se tornar um profissional em ControlNet. 🏆
ComfyUI Manager é um nó personalizado que permite instalar e atualizar outros nós personalizados através da interface do ComfyUI. Você encontrará o botão Manager no menu Queue Prompt.
Se um fluxo de trabalho exigir nós personalizados que você não instalou, siga estas etapas:
Clique duas vezes em qualquer área vazia para abrir um menu de pesquisa de nós.
Embeddings, também conhecidos como inversão textual, são um recurso poderoso no ComfyUI que permite injetar conceitos ou estilos personalizados em suas imagens geradas por IA. 💡 É como ensinar à IA uma nova palavra ou frase e associá-la a características visuais específicas.
Para usar embeddings no ComfyUI, basta digitar "embedding:" seguido pelo nome do seu embedding na caixa de prompt positivo ou negativo. Por exemplo:
embedding: BadDream
Quando você usar este prompt, o ComfyUI procurará por um arquivo de embedding chamado "BadDream" na pasta ComfyUI > models > embeddings. 📂 Se encontrar uma correspondência, ele aplicará as características visuais correspondentes à sua imagem gerada.
Embeddings são uma ótima maneira de personalizar sua arte de IA e obter estilos ou estéticas específicas. 🎨 Você pode criar seus próprios embeddings treinando-os em um conjunto de imagens que representam o conceito ou estilo desejado.
Lembrar os nomes exatos de seus embeddings pode ser um incômodo, especialmente se você tiver uma grande coleção. 😅 É aí que o nó personalizado ComfyUI-Custom-Scripts vem para o resgate!
Para habilitar o autocompletar de nomes de embedding:
Uma vez que você tenha o nó ComfyUI-Custom-Scripts instalado, terá uma maneira mais amigável de usar embeddings. 😊 Basta começar a digitar "embedding:" em uma caixa de prompt e uma lista de embeddings disponíveis aparecerá. Você pode então selecionar o embedding desejado da lista, economizando tempo e esforço!
Você sabia que pode controlar a força de seus embeddings? 💪 Como embeddings são essencialmente palavras-chave, você pode aplicar pesos a eles assim como faria com palavras-chave regulares em seus prompts.
Para ajustar o peso de um embedding, use a seguinte sintaxe:
(embedding: BadDream:1.2)
Neste exemplo, o peso do embedding "BadDream" é aumentado em 20%. Portanto, pesos mais altos (por exemplo, 1.2) tornarão o embedding mais proeminente, enquanto pesos mais baixos (por exemplo, 0.8) reduzirão sua influência. 🎚️ Isso lhe dá ainda mais controle sobre o resultado final!
LoRA, abreviação de Low-rank Adaptation, é outro recurso emocionante no ComfyUI que permite modificar e ajustar seus modelos checkpoint. 🎨 É como adicionar um modelo pequeno e especializado em cima de seu modelo base para obter estilos específicos ou incorporar elementos personalizados.
Modelos LoRA são compactos e eficientes, tornando-os fáceis de usar e compartilhar. Eles são comumente usados para tarefas como modificar o estilo artístico de uma imagem ou injetar uma pessoa ou objeto específico no resultado gerado.
Quando você aplica um modelo LoRA a um modelo checkpoint, ele modifica os componentes MODEL e CLIP enquanto deixa o VAE (Variational Autoencoder) intocado. Isso significa que o LoRA se concentra em ajustar o conteúdo e o estilo da imagem sem alterar sua estrutura geral.
Usar LoRA no ComfyUI é simples. Vamos dar uma olhada no método mais simples:
O ComfyUI combinará o modelo checkpoint e o modelo LoRA para criar uma imagem que reflita os prompts especificados e incorpore as modificações introduzidas pelo LoRA.
Mas e se você quiser aplicar vários LoRAs a uma única imagem? Sem problemas! O ComfyUI permite que você use dois ou mais LoRAs no mesmo fluxo de trabalho de texto para imagem.
O processo é semelhante ao uso de um único LoRA, mas você precisará selecionar vários modelos LoRA em vez de apenas um. O ComfyUI aplicará os LoRAs sequencialmente, o que significa que cada LoRA se baseará nas modificações introduzidas pelo anterior.
Isso abre um mundo de possibilidades para combinar diferentes estilos, elementos e modificações em suas imagens geradas por IA. 🌍💡 Experimente com diferentes combinações de LoRA para obter resultados únicos e criativos!
Parabéns por concluir este guia para iniciantes do ComfyUI! 🙌 Agora você está pronto para mergulhar no emocionante mundo da criação de arte com IA. Mas por que se incomodar com a instalação quando você pode começar a criar imediatamente? 🤔
Na RunComfy, simplificamos o uso do ComfyUI online sem qualquer configuração. Nosso serviço ComfyUI Online vem pré-carregado com mais de 200 nós e modelos populares, além de mais de 50 fluxos de trabalho deslumbrantes para inspirar suas criações.
🌟 Seja você um iniciante ou um artista de IA experiente, o RunComfy tem tudo que você precisa para dar vida às suas visões artísticas. 💡 Não espere mais – experimente o ComfyUI Online agora e experimente o poder da criação de arte com IA na ponta dos seus dedos! 🚀
© Copyright 2024 RunComfy. Todos os Direitos Reservados.