Updated: 5/13/2024
你好,AI艺术家朋友! 👋 欢迎来到我们面向初学者的ComfyUI教程,这是一个令人难以置信的强大和灵活的工具,用于创作令人惊叹的AI生成艺术。 🎨 在本指南中,我们将带你了解ComfyUI的基础知识,探索其功能,并帮助你释放其潜力,将你的AI艺术提升到一个新的水平。 🚀
我们将涵盖:
ComfyUI就像拥有一支神奇魔杖🪄,可以轻松创造出令人惊叹的AI生成艺术。从本质上讲,ComfyUI是构建在Stable Diffusion之上的基于节点的图形用户界面(GUI),而Stable Diffusion是一种最先进的深度学习模型,可以根据文本描述生成图像。 🌟 但ComfyUI真正特别之处在于,它如何让像你这样的艺术家释放创造力,将你最疯狂的想法变为现实。
想象一下有一块数字画布,你可以通过连接不同的节点来构建自己独特的图像生成工作流,每个节点代表一个特定的功能或操作。 🧩 就像为你的AI生成杰作构建一个视觉食谱!
想从头开始使用文本提示生成图像?这里有一个节点可以实现!需要应用特定的采样器或微调噪声级别?只需添加相应的节点,观察魔法的发生。 ✨
但这里是最精彩的部分:ComfyUI将工作流分解成可重组的元素,让你可以自由创建适合你艺术愿景的自定义工作流。 🖼️ 就像拥有一个适应你创作过程的个性化工具包。
AUTOMATIC1111是Stable Diffusion的默认GUI。那么,你应该使用ComfyUI吗?让我们对比一下:
✅ 使用ComfyUI的好处:
❌ 使用ComfyUI的缺点:
我们相信,学习ComfyUI的最佳方式是通过深入示例并亲身体验。 🙌 这就是为什么我们创建了这个独特的教程,使它与众不同。在本教程中,你将找到一个详细的、循序渐进的指南,你可以跟着一起学习。
但这里是最棒的部分: 🌟 我们已经将ComfyUI直接整合到这个网页中!当你浏览指南时,你可以实时与ComfyUI示例互动。 🌟 让我们开始吧!
让我们从最简单的案例开始:从文本生成图像。点击Queue Prompt运行工作流。短暂等待后,你应该看到你的第一个生成的图像!要查看你的队列,只需点击View Queue。
这里有一个默认的从文本到图像工作流供你尝试:
ComfyUI工作流由两个基本构建块组成: 节点和边。
首先,在Load Checkpoint节点中选择一个Stable Diffusion Checkpoint模型。点击模型名称以查看可用的模型。如果点击模型名称没有任何反应,你可能需要上传一个自定义模型。
你会看到两个标有CLIP Text Encode (Prompt)的节点。顶部的提示词连接到KSampler节点的positive输入,而底部的提示词连接到negative输入。所以在顶部输入你的正面提示词,在底部输入你的负面提示词。
CLIP Text Encode节点将提示词转换为令牌,并使用文本编码器将它们编码为嵌入。
💡 小贴士:使用(keyword:weight)语法来控制关键词的权重,例如(keyword:1.2)来增加其效果,或(keyword:0.8)来减少它。
点击Queue Prompt运行工作流。短暂等待后,你的第一张图像将生成!
ComfyUI的强大之处在于它的可配置性。了解每个节点的作用,可以让你根据需要对其进行定制。但在深入细节之前,让我们先看看Stable Diffusion的过程,以更好地理解ComfyUI是如何工作的。
Stable Diffusion的过程可以概括为三个主要步骤:
现在我们对Stable Diffusion过程有了高层次的理解,让我们深入研究ComfyUI中实现这一过程的关键组件和节点。
ComfyUI中的Load Checkpoint节点对于选择Stable Diffusion模型至关重要。一个Stable Diffusion模型由三个主要组件组成:MODEL、CLIP和VAE。让我们探讨每个组件以及它们与ComfyUI中相应节点的关系。
需要注意的是,VAE是一个独立于CLIP语言模型的组件。虽然CLIP专注于处理文本提示词,但VAE处理像素和潜在空间之间的转换。
ComfyUI中的CLIP Text Encode节点负责接受用户提供的提示词,并将它们输入到CLIP语言模型中。CLIP是一个强大的语言模型,可以理解词语的语义含义,并将它们与视觉概念联系起来。当一个提示词被输入到CLIP Text Encode节点时,它会经历一个转换过程,将每个词转换为嵌入。这些嵌入是高维向量,捕捉词语的语义信息。通过将提示词转换为嵌入,CLIP使MODEL能够生成准确反映给定提示词含义和意图的图像。
在从文本到图像的过程中,生成从潜在空间中的一个随机图像开始。这个随机图像作为MODEL开始工作的初始状态。潜在图像的大小与像素空间中实际图像的大小成比例。在ComfyUI中,你可以调整潜在图像的高度和宽度来控制生成图像的大小。此外,你可以设置批量大小来确定每次运行生成的图像数量。
潜在图像的最佳尺寸取决于使用的特定Stable Diffusion模型。对于SD v1.5模型,推荐的尺寸是512x512或768x768,而对于SDXL模型,最佳尺寸是1024x1024。ComfyUI提供了一系列常见的纵横比可供选择,如1:1(正方形)、3:2(横向)、2:3(纵向)、4:3(横向)、3:4(纵向)、16:9(宽屏)和9:16(垂直)。需要注意的是,潜在图像的宽度和高度必须能被8整除,以确保与模型架构的兼容性。
VAE(Variational AutoEncoder)是Stable Diffusion模型中的一个关键组件,负责处理像素空间和潜在空间之间的图像转换。它由两个主要部分组成:图像编码器和图像解码器。
图像编码器接受像素空间中的图像,并将其压缩到低维潜在表示。这个压缩过程大大减少了数据大小,允许更高效的处理和存储。例如,一个512x512像素的图像可以被压缩到64x64的潜在表示。
另一方面,图像解码器,也称为VAE解码器,负责将潜在表示重建为像素空间中的图像。它接受压缩后的潜在表示,并将其扩展以生成最终图像。
使用VAE有几个优点:
然而,也有一些缺点需要考虑:
尽管有这些限制,VAE在Stable Diffusion模型中发挥着至关重要的作用,通过在像素空间和潜在空间之间进行高效转换,促进更快的生成和对生成图像的更精确控制。
ComfyUI中的KSampler节点是Stable Diffusion中图像生成过程的核心。它负责对潜在空间中的随机图像进行去噪,以匹配用户提供的提示。KSampler采用一种称为反向扩散的技术,通过删除噪声和根据CLIP嵌入的指导添加有意义的细节,迭代地细化潜在表示。
KSampler节点提供了几个参数,允许用户微调图像生成过程:
Seed: 种子值控制最终图像的初始噪声和构图。通过设置特定的种子,用户可以获得可重复的结果,并在多次生成中保持一致性。
Control_after_generation: 这个参数决定了每次生成后种子值的变化方式。它可以设置为随机(每次运行生成一个新的随机种子)、递增(将种子值增加1)、递减(将种子值减少1)或固定(保持种子值不变)。
Step: 采样步数决定了细化过程的强度。较高的值会产生较少的伪影和更详细的图像,但也会增加生成时间。
Sampler_name: 这个参数允许用户选择KSampler使用的特定采样算法。不同的采样算法可能会产生略有不同的结果,并具有不同的生成速度。
Scheduler: 调度器控制每一步去噪过程中噪声水平的变化。它决定了从潜在表示中去除噪声的速率。
Denoise: 去噪参数设置去噪过程应该消除的初始噪声量。值为1意味着所有噪声将被去除,从而产生一个干净和详细的图像。
通过调整这些参数,你可以微调图像生成过程,以达到预期的结果。
在RunComfy,我们专门为你创建了终极ComfyUI在线体验。告别复杂的安装! 🎉 现在试试ComfyUI在线版,释放你前所未有的艺术潜力!** 🎉
从图像到图像工作流根据提示词和输入图像生成图像。自己试试吧!
使用从图像到图像工作流:
更多高级ComfyUI工作流,请访问我们的🌟ComfyUI工作流列表🌟
得益于其极端的可配置性,ComfyUI是首批支持Stable Diffusion XL模型的GUI之一。让我们试一试吧!
使用ComfyUI SDXL工作流:
让我们深入一些更复杂的东西:inpainting!当你有一个很棒的图像,但想修改特定部分时,inpainting是最佳方法。在这里试试吧!
使用inpainting工作流:
Outpainting是另一项令人兴奋的技术,让你可以将图像扩展到其原始边界之外。🌆 就像拥有一块无限的画布一样!
使用ComfyUI Outpainting工作流:
更多高级inpainting/outpainting工作流,请访问我们的🌟ComfyUI工作流列表🌟
接下来,让我们探索ComfyUI放大。我们将介绍三个基本工作流,帮助你高效地放大。
有两种主要的放大方法:
两种实现方式:
另一种放大方法是Upscale Latent,也称为Hi-res Latent Fix Upscale,直接在潜在空间中放大。
更多高级还原/放大工作流,请访问我们的🌟ComfyUI工作流列表🌟
准备好用ControlNet将你的AI艺术提升到新的水平吧,这是一项革命性的技术,它彻底改变了图像生成方式!
ControlNet就像一根魔杖🪄,赋予你前所未有的控制力,可以指导AI生成的图像。它与Stable Diffusion等强大的模型携手合作,增强它们的能力,让你比以往任何时候都更能引导图像创作过程!
想象一下,你可以指定图像的边缘、人体姿势、深度,甚至是分割图。🌠 有了ControlNet,你就可以做到这一切!
如果你渴望更深入地探索ControlNet的世界,释放它的全部潜力,我们为你准备了全面的内容。查看我们详细的ComfyUI中掌握ControlNet的教程吧!📚 它包含分步指南和令人振奋的示例,帮助你成为ControlNet专家。🏆
ComfyUI管理器是一个自定义节点,允许你通过ComfyUI界面安装和更新其他自定义节点。你可以在Queue Prompt菜单上找到Manager按钮。
如果一个工作流需要你尚未安装的自定义节点,请按照以下步骤操作:
双击任意空白区域,弹出菜单搜索节点。
Embeddings,也称为textual inversion,是ComfyUI中一项强大的功能,让你可以将自定义概念或风格注入到AI生成的图像中。💡 这就像教AI一个新词或短语,并将其与特定的视觉特征关联起来。
要在ComfyUI中使用embeddings,只需在正面或负面提示词框中输入"embedding:",后跟你的embedding名称。例如:
embedding: BadDream
当你使用这个提示词时,ComfyUI会在ComfyUI > models > embeddings文件夹中搜索名为"BadDream"的embedding文件。📂 如果找到匹配项,它将把相应的视觉特征应用到你生成的图像中。
Embeddings是个性化AI艺术和实现特定风格或美学的好方法。🎨 你可以通过在一组代表所需概念或风格的图像上训练embeddings来创建自己的embeddings。
记住你的embeddings的确切名称可能很麻烦,尤其是当你有大量embeddings时。😅 这时ComfyUI-Custom-Scripts自定义节点就派上用场了!
要启用embedding名称自动补全:
安装ComfyUI-Custom-Scripts节点后,你将体验到更加用户友好的embeddings使用方式。😊 只需在提示词框中开始输入"embedding:",就会出现可用embeddings的列表。然后,你可以从列表中选择所需的embedding,节省你的时间和精力!
你知道你可以控制embeddings的强度吗?💪 由于embeddings本质上是关键词,你可以像对提示词中的普通关键词一样对它们应用权重。
要调整embedding的权重,使用以下语法:
(embedding: BadDream:1.2)
在这个例子中,"BadDream" embedding的权重增加了20%。因此,较高的权重(例如1.2)会使embedding更突出,而较低的权重(例如0.8)会减少其影响。🎚️ 这让你对最终结果有更多的控制!
LoRA,即低秩适应(Low-rank Adaptation),是ComfyUI中另一个令人兴奋的功能,让你可以修改和微调checkpoint模型。🎨 它就像在基础模型之上添加一个小型专门模型,以实现特定的风格或融入自定义元素。
LoRA模型紧凑高效,易于使用和共享。它们通常用于修改图像的艺术风格或将特定人物或物体注入生成结果的任务。
当你将LoRA模型应用于checkpoint模型时,它会修改MODEL和CLIP组件,同时保持VAE(Variational Autoencoder)不变。这意味着LoRA专注于调整图像的内容和风格,而不改变其整体结构。
在ComfyUI中使用LoRA很简单。让我们看看最简单的方法:
ComfyUI将结合checkpoint模型和LoRA模型,创建一个反映指定提示词并融入LoRA引入的修改的图像。
但如果你想在一个图像上应用多个LoRA呢?没问题!ComfyUI允许你在同一个从文本到图像的工作流中使用两个或多个LoRA。
过程与使用单个LoRA类似,但你需要选择多个LoRA模型,而不是只选择一个。ComfyUI将按顺序应用LoRA,这意味着每个LoRA将在前一个的修改基础上进行修改。
这为在AI生成的图像中组合不同的风格、元素和修改打开了一个充满可能性的世界。🌍💡 尝试不同的LoRA组合,以实现独特和创造性的结果!
恭喜你完成了这份ComfyUI初学者指南!🙌 你现在已经准备好潜入令人兴奋的AI艺术创作世界了。但当你可以立即开始创作时,为什么还要费心安装呢?🤔
在RunComfy,我们让你无需任何设置就可以在线使用ComfyUI。我们的ComfyUI在线服务预装了200多个流行的节点和模型,以及50多个令人惊叹的工作流来激发你的创作灵感。🌟
🌟 无论你是初学者还是有经验的AI艺术家,RunComfy都提供了你将艺术愿景变为现实所需的一切。💡 不要再等了–立即尝试ComfyUI在线版,感受指尖上AI艺术创作的力量!🚀
© 版权 2024 RunComfy. 保留所有权利。