Updated: 8/26/2024
你好,AI爱好者们!👋 欢迎来到我们关于在ComfyUI中使用FLUX的介绍指南。FLUX是由Black Forest Labs开发的前沿模型。🌟 在本教程中,我们将深入探讨ComfyUI FLUX的基本知识,展示这个强大模型如何增强你的创作过程,并帮助你突破AI生成艺术的边界。🚀
我们将涵盖:
FLUX.1是Black Forest Labs开发的前沿AI模型,它正在改变我们从文本描述中创建图像的方式。凭借其无与伦比的能力,FLUX.1能够生成与输入提示紧密匹配的令人惊叹的详细和复杂图像,使其从竞争中脱颖而出。FLUX.1成功的秘密在于其独特的混合架构,结合了不同类型的变压器块,并由惊人的120亿参数提供支持。这使得FLUX.1能够生成视觉上引人注目的图像,并以惊人的精确度准确地表示文本描述。
FLUX.1最令人兴奋的方面之一是它在生成各种风格的图像方面的多功能性,从写实到艺术风格。FLUX.1甚至具有将文本无缝集成到生成图像中的显著能力,这是许多其他模型难以实现的壮举。此外,FLUX.1以其出色的提示遵从性而闻名,无论是简单还是复杂的描述,都能轻松处理。这使得FLUX.1经常与其他知名模型如Stable Diffusion和Midjourney进行比较,FLUX.1通常因其用户友好性和顶级结果而成为首选。
FLUX.1的令人印象深刻的能力使其成为广泛应用的宝贵工具,从创建令人惊叹的视觉内容和激发创新设计到促进科学可视化。FLUX.1从文本描述中生成高度详细和准确的图像的能力为创意专业人士,研究人员和爱好者开辟了无限可能的世界。随着AI生成图像领域的不断发展,FLUX.1处于前沿,树立了质量,多样性和易用性的新的标准。
Black Forest Labs是开发革命性FLUX.1的先锋AI公司,由AI行业知名人物Robin Rombach创立,他曾是Stability AI的核心成员。如果你渴望了解更多关于Black Forest Labs及其与FLUX.1的革命性工作,请务必访问他们的官方网站:https://blackforestlabs.ai/。
FLUX.1有三个不同的版本,每个版本都旨在满足特定用户的需求:
名称 | HuggingFace仓库 | 许可证 | md5sum |
FLUX.1 [pro] | 仅在我们的API中提供。 | ||
FLUX.1 [dev] | https://huggingface.co/black-forest-labs/FLUX.1-dev | FLUX.1-dev 非商业许可证 | a6bd8c16dfc23db6aee2f63a2eba78c0 |
FLUX.1 [schnell] | https://huggingface.co/black-forest-labs/FLUX.1-schnell | apache-2.0 | a9e1e277b9b16add186f38e3f5a34044 |
fp16
Clip模型变体以获得最大质量。fp16
或fp8
Clip模型。fp8
计算以避免内存不足。设计为快速高效,重点在于速度而非超高质量。要在ComfyUI环境中有效使用FLUX.1,关键是确保安装最新版本的ComfyUI。该版本支持FLUX.1模型所需的必要功能和集成。
为了使用FLUX.1实现最佳性能和准确的文本到图像生成,你需要下载特定的文本编码器和CLIP模型。根据你的系统硬件,以下模型是必需的:
模型文件名 | 大小 | 备注 | 链接 |
t5xxl_fp16.safetensors | 9.79 GB | 如果你有高VRAM和RAM(超过32GB RAM),效果更好。 | 下载 |
t5xxl_fp8_e4m3fn.safetensors | 4.89 GB | 用于较低内存使用(8-12GB) | 下载 |
clip_l.safetensors | 246 MB | 下载 |
下载和安装步骤:
clip_l.safetensors
模型。t5xxl_fp8_e4m3fn.safetensors
(用于较低VRAM)或t5xxl_fp16.safetensors
(用于较高VRAM和RAM)。ComfyUI/models/clip/
目录中。注意:如果你以前使用过SD 3 Medium,你可能已经有这些模型。变分自编码器(VAE)模型对于提高FLUX.1的图像生成质量至关重要。以下VAE模型可供下载:
文件名 | 大小 | 链接 |
ae.safetensors | 335 MB | 下载(在新标签中打开) |
下载和安装步骤:
ae.safetensors
模型文件。ComfyUI/models/vae
目录中。flux_ae.safetensors
。UNET模型是FLUX.1中图像合成的骨干。根据系统规格,可以选择不同的变体:
文件名 | 大小 | 链接 | 备注 |
flux1-dev.safetensors | 23.8GB | 下载 | 如果你有高VRAM和RAM。 |
flux1-schnell.safetensors | 23.8GB | 下载 | 用于较低内存使用 |
下载和安装步骤:
ComfyUI/models/unet/
目录中。我们将不断更新ComfyUI FLUX工作流,为你提供最新和最全面的工作流,以使用ComfyUI FLUX生成令人惊叹的图像。
在RunComfy平台,我们的在线版本预加载了所有必要的模式和节点。此外,我们提供高性能GPU机器,确保你可以轻松享受ComfyUI FLUX Txt2Img体验。
ComfyUI FLUX Txt2Img工作流首先加载基本组件,包括FLUX UNET(UNETLoader),FLUX CLIP(DualCLIPLoader)和FLUX VAE(VAELoader)。这些构成了ComfyUI FLUX图像生成过程的基础。
文本提示,它描述了所需的输出,使用CLIPTextEncode进行编码。该节点将文本提示作为输入,并输出编码的文本条件,这在生成过程中引导ComfyUI FLUX。
要启动ComfyUI FLUX生成过程,使用EmptyLatentImage创建一个空的潜在表示。这作为ComfyUI FLUX的起点。
BasicGuider在ComfyUI FLUX生成过程中起着关键作用。它将编码的文本条件和加载的FLUX UNET作为输入,确保生成的输出与提供的文本描述一致。
KSamplerSelect允许你选择ComfyUI FLUX生成的采样方法,而RandomNoise则生成随机噪声作为ComfyUI FLUX的输入。BasicScheduler为生成过程中的每一步调度噪声级别(sigmas),控制最终输出的细节和清晰度。
SamplerCustomAdvanced汇集了ComfyUI FLUX Txt2Img工作流的所有组件。它将随机噪声,指南,选择的采样器,调度的sigmas和空的潜在表示作为输入。通过高级采样过程,它生成一个表示文本提示的潜在表示。
最后,VAEDecode使用加载的FLUX VAE将生成的潜在表示解码为最终输出。SaveImage允许你将生成的输出保存到指定位置,保留由ComfyUI FLUX Txt2Img工作流生成的令人惊叹的创作。
在RunComfy平台,我们的在线版本预加载了所有必要的模式和节点。此外,我们提供高性能GPU机器,确保你可以轻松享受ComfyUI FLUX Img2Img体验。
ComfyUI FLUX Img2Img工作流基于ComfyUI FLUX的强大功能生成基于文本提示和输入表示的输出。它首先加载必要的组件,包括CLIP模型(DualCLIPLoader),UNET模型(UNETLoader)和VAE模型(VAELoader)。
输入表示,作为ComfyUI FLUX Img2Img过程的起点,使用LoadImage加载。ImageScale然后将输入表示缩放到所需大小,确保与ComfyUI FLUX兼容。
缩放后的输入表示通过VAEEncode进行编码,将其转换为潜在表示。该潜在表示捕获了输入的基本特征和细节,为ComfyUI FLUX提供了基础。
描述所需修改或增强的文本提示使用CLIPTextEncode进行编码。FluxGuidance然后根据指定的指导规模应用指导,影响文本提示对最终输出的影响强度。
ModelSamplingFlux设置ComfyUI FLUX的采样参数,包括时间步重新采样,填充比率和输出维度。这些参数控制生成输出的粒度和分辨率。
KSamplerSelect允许你选择ComfyUI FLUX生成的采样方法,而BasicGuider根据编码的文本条件和加载的FLUX UNET指导生成过程。
使用RandomNoise生成随机噪声,BasicScheduler调度生成过程中的噪声级别(sigmas)。这些组件引入受控的变化,并微调最终输出的细节。
SamplerCustomAdvanced汇集了随机噪声,指南,选择的采样器,调度的sigmas和输入的潜在表示。通过高级采样过程,它生成一个潜在表示,结合了文本提示指定的修改,同时保留了输入的基本特征。
最后,VAEDecode使用加载的FLUX VAE将生成的潜在表示解码为最终输出。PreviewImage显示生成输出的预览,展示了由ComfyUI FLUX Img2Img工作流实现的令人惊叹的结果。
在RunComfy平台,我们的在线版本预加载了所有必要的模式和节点。此外,我们提供高性能GPU机器,确保你可以轻松享受ComfyUI FLUX LoRA体验。
ComfyUI FLUX LoRA工作流利用低秩适应(LoRA)的强大功能来增强ComfyUI FLUX的性能。它首先加载必要的组件,包括UNET模型(UNETLoader),CLIP模型(DualCLIPLoader),VAE模型(VAELoader)和LoRA模型(LoraLoaderModelOnly)。
描述所需输出的文本提示使用String Literal指定。CLIPTextEncode然后对文本提示进行编码,生成指导ComfyUI FLUX生成过程的编码文本条件。
FluxGuidance应用指导到编码的文本条件,影响ComfyUI FLUX对文本提示的遵从性和方向。
使用EmptyLatentImage创建一个空的潜在表示,作为生成的起点。使用Int Literal指定生成输出的宽度和高度,确保最终结果的所需尺寸。
ModelSamplingFlux设置ComfyUI FLUX的采样参数,包括填充比率和时间步重新采样。这些参数控制生成输出的分辨率和粒度。
KSamplerSelect允许你选择ComfyUI FLUX生成的采样方法,而BasicGuider根据编码的文本条件和加载的FLUX UNET(增强了FLUX LoRA)指导生成过程。
使用RandomNoise生成随机噪声,BasicScheduler调度生成过程中的噪声级别(sigmas)。这些组件引入受控的变化,并微调最终输出的细节。
SamplerCustomAdvanced汇集了随机噪声,指南,选择的采样器,调度的sigmas和空的潜在表示。通过高级采样过程,它生成一个代表文本提示的潜在表示,利用FLUX和FLUX LoRA增强的力量。
最后,VAEDecode使用加载的FLUX VAE将生成的潜在表示解码为最终输出。SaveImage允许你将生成的输出保存到指定位置,保留由ComfyUI FLUX LoRA工作流生成的令人惊叹的创作。
在RunComfy平台,我们的在线版本预加载了所有必要的模式和节点。此外,我们提供高性能GPU机器,确保你可以轻松享受ComfyUI FLUX ControlNet体验。
ComfyUI FLUX ControlNet工作流展示了ControlNet与ComfyUI FLUX的集成,以增强输出生成。工作流展示了两个示例:基于深度的条件和基于Canny边缘的条件。
在基于深度的工作流中,输入表示通过MiDaS-DepthMapPreprocessor进行预处理,生成深度图。然后将深度图通过ApplyFluxControlNet(Depth)与加载的FLUX ControlNet进行深度条件处理。生成的FLUX ControlNet条件作为XlabsSampler(Depth)的输入,结合加载的FLUX UNET,编码的文本条件,负面文本条件和空的潜在表示。XlabsSampler根据这些输入生成潜在表示,然后通过VAEDecode解码为最终输出。
类似地,在基于Canny边缘的工作流中,输入表示通过CannyEdgePreprocessor进行预处理,生成Canny边缘表示。然后将Canny边缘表示通过ApplyFluxControlNet(Canny)与加载的FLUX ControlNet进行Canny边缘条件处理。生成的FLUX ControlNet条件作为XlabsSampler(Canny)的输入,结合加载的FLUX UNET,编码的文本条件,负面文本条件和空的潜在表示。XlabsSampler根据这些输入生成潜在表示,然后通过VAEDecode解码为最终输出。
ComfyUI FLUX ControlNet工作流包含用于加载必要组件(DualCLIPLoader,UNETLoader,VAELoader,LoadFluxControlNet),编码文本提示(CLIPTextEncodeFlux),创建空的潜在表示(EmptyLatentImage)和预览生成和预处理输出(PreviewImage)的节点。
通过利用FLUX ControlNet的强大功能,ComfyUI FLUX ControlNet工作流能够生成符合特定条件(如深度图或Canny边缘)的输出。这种额外的控制和指导增强了生成过程的灵活性和精确性,允许使用ComfyUI FLUX创建令人惊叹和符合背景的输出。
在RunComfy平台,我们的在线版本预加载了所有必要的模式和节点。此外,我们提供高性能GPU机器,确保你可以轻松享受ComfyUI FLUX Inpainting体验。
ComfyUI FLUX Inpainting工作流展示了ComfyUI FLUX执行修复的能力,即根据周围的上下文和提供的文本提示填充缺失或遮蔽的区域。工作流首先加载必要的组件,包括UNET模型(UNETLoader),VAE模型(VAELoader)和CLIP模型(DualCLIPLoader)。
正面和负面的文本提示,描述了修复区域的所需内容和风格,使用CLIPTextEncodes进行编码。正面文本条件进一步通过FluxGuidance进行指导,以影响ComfyUI FLUX的修复过程。
使用LoadAndResizeImage加载和调整输入表示和遮罩的大小,确保与ComfyUI FLUX的要求兼容。ImpactGaussianBlurMask对遮罩应用高斯模糊,创建修复区域和原始表示之间的平滑过渡。
InpaintModelConditioning通过结合指导的正面文本条件,编码的负面文本条件,加载的FLUX VAE,加载和调整大小的输入表示和模糊遮罩来准备FLUX修复的条件。这些条件作为ComfyUI FLUX修复过程的基础。
使用RandomNoise生成随机噪声,KSamplerSelect选择采样方法。BasicScheduler调度ComfyUI FLUX修复过程中的噪声级别(sigmas),控制修复区域的细节和清晰度。
BasicGuider根据准备的条件和加载的FLUX UNET指导ComfyUI FLUX修复过程。SamplerCustomAdvanced执行高级采样过程,将生成的随机噪声,指南,选择的采样器,调度的sigmas和输入的潜在表示作为输入。它输出修复的潜在表示。
最后,VAEDecode使用加载的FLUX VAE将修复的潜在表示解码为最终输出,无缝融合修复区域和原始表示。PreviewImage显示最终输出,展示了FLUX的令人印象深刻的修复能力。
通过利用FLUX的强大功能和精心设计的修复工作流,FLUX Inpainting使得创建视觉一致和符合上下文的修复输出成为可能。无论是恢复缺失部分,移除不需要的对象,还是修改特定区域,ComfyUI FLUX修复工作流为编辑和操纵提供了强大的工具。
在RunComfy平台,我们的在线版本预加载了所有必要的模式和节点。此外,我们提供高性能GPU机器,确保你可以轻松享受ComfyUI FLUX NF4体验。
ComfyUI FLUX NF4工作流展示了ComfyUI FLUX与NF4(Normalizing Flow 4)架构的集成,以生成高质量的输出。工作流首先使用CheckpointLoaderNF4加载必要的组件,包括FLUX UNET,FLUX CLIP和FLUX VAE。
PrimitiveNode(高度)和PrimitiveNode(宽度)节点指定生成输出的所需高度和宽度。ModelSamplingFlux节点基于加载的FLUX UNET和指定的高度和宽度设置ComfyUI FLUX的采样参数。
EmptySD3LatentImage节点创建一个空的潜在表示,作为生成的起点。BasicScheduler节点调度ComfyUI FLUX生成过程中的噪声级别(sigmas)。
RandomNoise节点生成ComfyUI FLUX生成过程的随机噪声。BasicGuider节点根据条件化的ComfyUI FLUX指导生成过程。
KSamplerSelect节点选择ComfyUI FLUX生成的采样方法。SamplerCustomAdvanced节点执行高级采样过程,将生成的随机噪声,指南,选择的采样器,调度的sigmas和空的潜在表示作为输入。它输出生成的潜在表示。
VAEDecode节点使用加载的FLUX VAE将生成的潜在表示解码为最终输出。SaveImage节点将生成的输出保存到指定位置。
对于放大,使用UltimateSDUpscale节点。它将生成的输出,加载的FLUX,正面和负面放大条件,加载的FLUX VAE和加载的FLUX放大作为输入。CLIPTextEncode(Upscale Positive Prompt)节点对用于放大的正面文本提示进行编码。UpscaleModelLoader节点加载FLUX放大。UltimateSDUpscale节点执行放大过程并输出放大的表示。最后,SaveImage(Upscaled)节点将放大的输出保存到指定位置。
通过利用ComfyUI FLUX和NF4架构的强大功能,ComfyUI FLUX NF4工作流能够生成具有增强保真度和真实感的高质量输出。ComfyUI FLUX与NF4架构的无缝集成提供了一个强大的工具,用于创建令人惊叹和引人入胜的输出。
在RunComfy平台,我们的在线版本预加载了所有必要的模式和节点。此外,我们提供高性能GPU机器,确保你可以轻松享受ComfyUI FLUX IPAdapter体验。
ComfyUI FLUX IPAdapter工作流首先加载必要的模型,包括UNET模型(UNETLoader),CLIP模型(DualCLIPLoader)和VAE模型(VAELoader)。
正面和负面的文本提示使用CLIPTextEncodeFlux进行编码。正面文本条件用于指导ComfyUI FLUX生成过程。
使用LoadImage加载输入图像。LoadFluxIPAdapter加载FLUX模型的IP-Adapter,然后应用于加载的UNET模型使用ApplyFluxIPAdapter。ImageScale将输入图像缩放到所需大小,然后应用IP-Adapter。
EmptyLatentImage创建一个空的潜在表示,作为ComfyUI FLUX生成的起点。
XlabsSampler执行采样过程,将FLUX UNET与应用的IP-Adapter,编码的正面和负面文本条件和空的潜在表示作为输入。它生成潜在表示。
VAEDecode使用加载的FLUX VAE将生成的潜在表示解码为最终输出。PreviewImage节点显示最终输出的预览。
ComfyUI FLUX IPAdapter工作流利用ComfyUI FLUX和IP-Adapter的强大功能生成符合提供的文本提示的高质量输出。通过将IP-Adapter应用于FLUX UNET,工作流能够生成捕捉文本条件指定的特征和风格的输出。
ComfyUI FLUX LoRA训练器工作流由多个阶段组成,用于在ComfyUI中使用FLUX架构训练LoRA。
ComfyUI FLUX选择和配置: FluxTrainModelSelect节点用于选择训练组件,包括UNET,VAE,CLIP和CLIP文本编码器。 OptimizerConfig节点配置ComfyUI FLUX训练的优化器设置,如优化器类型,学习率和权重衰减。 TrainDatasetGeneralConfig和TrainDatasetAdd节点用于配置训练数据集,包括分辨率,增强设置和批次大小。
ComfyUI FLUX训练初始化: InitFluxLoRATraining节点使用选定的组件,数据集配置和优化器设置初始化LoRA训练过程。 FluxTrainValidationSettings节点配置训练的验证设置,如验证样本数量,分辨率和批次大小。
ComfyUI FLUX训练循环: FluxTrainLoop节点执行LoRA的训练循环,迭代指定步数。 在每个训练循环后,FluxTrainValidate节点使用验证设置验证训练的LoRA并生成验证输出。 PreviewImage节点显示验证结果的预览。 FluxTrainSave节点在指定间隔保存训练的LoRA。
ComfyUI FLUX损失可视化: VisualizeLoss节点可视化训练过程中损失的变化。 SaveImage节点保存损失图以供进一步分析。
ComfyUI FLUX验证输出处理: AddLabel和SomethingToString节点用于给验证输出添加标签,指示训练步骤。 ImageBatchMulti和ImageConcatFromBatch节点将验证输出组合和拼接为一个结果,以便于可视化。
ComfyUI FLUX训练结束: FluxTrainEnd节点完成LoRA的训练过程并保存训练的LoRA。 UploadToHuggingFace节点可用于将训练的LoRA上传到Hugging Face,以便与ComfyUI FLUX共享和进一步使用。
ComfyUI Flux Latent Upscale工作流首先加载必要的组件,包括CLIP(DualCLIPLoader),UNET(UNETLoader)和VAE(VAELoader)。文本提示使用CLIPTextEncode节点进行编码,并使用FluxGuidance节点应用指导。
SDXLEmptyLatentSizePicker+节点指定空的潜在表示的大小,作为FLUX放大过程的起点。然后潜在表示通过一系列放大和裁剪步骤使用LatentUpscale和LatentCrop节点进行处理。
放大过程由编码的文本条件指导,并使用SamplerCustomAdvanced节点与选择的采样方法(KSamplerSelect)和调度的噪声级别(BasicScheduler)。ModelSamplingFlux节点设置采样参数。
然后使用SolidMask和FeatherMask节点生成的遮罩,将放大的潜在表示与原始潜在表示组合使用LatentCompositeMasked节点。使用InjectLatentNoise+节点将噪声注入放大的潜在表示。
最后,VAEDecode节点将放大的潜在表示解码为最终输出,并使用ImageSmartSharpen+节点应用智能锐化。PreviewImage节点显示由ComfyUI FLUX生成的最终输出的预览。
ComfyUI FLUX Latent Upscaler工作流还包括使用SimpleMath+,SimpleMathFloat+,SimpleMathInt+和SimpleMathPercent+节点进行的各种数学运算,以计算放大过程的尺寸比例和其他参数。
© 版权 2024 RunComfy. 保留所有权利。