使用ComfyUI工作流程/教程修复任何视频或动画中的人脸 - 人脸详细修复器

大家好!🌟 今天我们将探讨一个非常酷的主题:如何使用ComfyUI中的人脸详细修复器替换和修复图像及视频中的人脸。拿起你的数字画笔,让我们开始创作吧!

我们将涵盖:

1. 什么是ComfyUI中的人脸详细修复器?
   • Automatic111的After Detailer (ADetailer)与ComfyUI的人脸详细修复器的对比
   • ComfyUI Impact Pack - 人脸详细修复器
2. 人脸详细修复器ComfyUI工作流程 - 无需安装,完全免费
3. 添加人脸详细修复器节点
4. 人脸详细修复器的输入
   • 输入你希望恢复的图像
   • 选择模型、Clip、VAE,并输入正向提示词和负向提示词
   • BBox检测器和Segm检测器(Sam模型)的区别
5. 人脸详细修复器设置:如何在ComfyUI中使用人脸详细修复器
   • 人脸详细修复器 - 指导大小、指导大小用途、最大尺寸和BBX裁剪因子
   • 人脸详细修复器 - 羽化
   • 人脸详细修复器 - 噪声遮罩
   • 人脸详细修复器 - 强制修复
   • 人脸详细修复器 - 丢弃尺寸
   • 人脸详细修复器 - BBox相关功能
   • 人脸详细修复器 - Segm/Sam相关功能
6. 其他改进
   • 使用人脸详细修复器(管道)进行两遍修复
   • 使用4x-UltraSharp放大视频
7. 免费运行人脸详细修复器ComfyUI工作流程

1. 什么是ComfyUI中的人脸详细修复器?

1.1 Automatic111的After Detailer(ADetailer)与ComfyUI的人脸详细修复器的对比

我相信你可能熟悉或听说过Automatic111的After Detailer(ADetailer)扩展,用于修复人脸。ComfyUI中有一个类似的功能,称为人脸详细修复器,它是Impact Pack节点的一部分。因此,如果你想在ComfyUI中使用ADetailer,你应该选择ComfyUI中Impact Pack的人脸详细修复器。

1.2 ComfyUI Impact Pack - 人脸详细修复器

ComfyUI Impact Pack就像是你的数字图像增强工具箱,犹如一把用于图像的瑞士军刀。它配备了各种模块,如检测器、细节修复器、放大器、管道等。其中最引人注目的是人脸详细修复器,它可以轻松地恢复图像、视频和动画中的人脸。

2. 人脸详细修复器ComfyUI工作流程 - 无需安装,完全免费

请查看上面的视频,它是使用人脸详细修复器ComfyUI工作流程制作的。现在,你可以在人脸详细修复器工作流程中体验,无需任何安装。一切都为你设置在基于云的ComfyUI中,预加载了Impact Pack - 人脸详细修复器节点以及无缝体验所需的每个模型。你可以立即运行此人脸详细修复器工作流程,或继续阅读本教程以了解如何使用它,然后再尝试。

3. 添加人脸详细修复器节点

让我们开始使用ComfyUI中的人脸详细修复器吧。人脸详细修复器节点乍一看可能很复杂,但不要担心,我们会一点一点地分解它。通过理解每个输入、输出和参数,你很快就能像专业人士一样使用这个强大的工具。

要在ComfyUI中找到人脸详细修复器,只需转到Add Node → Impact Pack → Simple → Face Detailer / Face Detailer (pipe)。

让我们从"Face Detailer"开始,然后深入"Face Detailer Pipe"。

• FaceDetailer - 轻松检测人脸并改进。
• FaceDetailer (pipe) - 轻松检测人脸并改进(用于多遍处理)。

在本教程中,我们将深入探讨如何修复视频中的人脸或替换人脸。该视频是使用AnimateDiff生成的。如果你渴望了解有关AnimateDiff的更多信息,我们有专门的AnimateDiff教程!

如果你更习惯使用图像,只需将与视频相关的节点替换为与图像相关的节点即可。人脸详细修复器足够通用,可以同时处理视频和图像。

4. 人脸详细修复器的输入

4.1 输入你希望恢复的图像

让我们从图像输入开始(人脸详细修复器左上角的按钮),这意味着将图像或视频输入ComfyUI的人脸详细修复器。这就是转换开始的地方!在这里,我们将通过AnimateDiff生成的视频输入人脸详细修复器。

4.2 选择模型、Clip、VAE,并输入正向提示词和负向提示词

你可能已经熟悉这些设置。我们将跳过基础知识,只需注意正向和负向提示词在这里都扮演着重要角色。我们将使用与生成视频相同的提示词。但是,你可以自定义这些提示词,尤其是对于你想要替换的人脸。

这里有一个有趣的部分:使用与图像生成相同的提示词会导致人脸恢复。另一方面,不同的提示词意味着你选择完全人脸替换。这完全取决于你!

提示:使用"To Basic Pipe"和"From Basic Pipe"

为了简化连接大量节点的过程,请使用"Pipe"系统。从"To Basic Pipe"开始,它是一个输入组合器,用于收集各种输入。然后,使用"From Basic Pipe"来解包这些输入。只需连接这两个管道,你就可以快速高效地集成所有必要的输入。

4.3 BBox检测器和Segm检测器(Sam模型)的区别

BBox模型专门使用边界框识别元素,而Segm/person模型使用掩码进行检测。

在这两种情况下,无论是BBox检测器还是Segm检测器,我们都采用"Ultral Litic Detector Provider"节点。但是,需要注意的是,对于BBox检测器,我们专门使用bbox/face_yolov8m和bbox/hand_yolov8s模型。相比之下,segm/person_yolov8m-seg模型仅用于Segm检测器。

以下内容仅适用于BBox检测器。因此,你会看到裁剪和增强后的图像预览显示为一个框。

随后,当我们结合BBox检测器和Segm检测器的功能,并集成Sam模型时,裁剪和增强后的图像预览将呈现出类似掩码的外观。

5. 人脸详细修复器设置:如何使用ComfyUI人脸详细修复器

5.1 人脸详细修复器 - 指导大小、指导大小用途、最大尺寸和BBox裁剪因子

指导大小:BBox的指导大小将图像的人脸详细修复器聚焦在边界框人脸区域(如裁剪增强图像预览所示)。默认设置为256,这意味着如果边界框人脸区域小于256像素,系统会自动将其放大到最小256像素。

最大尺寸:最大尺寸建立了裁剪区域可以有多大的上限(如裁剪细化图像预览所示)。这个上限是为了防止区域变得过大,从而可能导致其他问题。默认的最大尺寸是768像素。

保持最佳范围:通过设置这些参数,我们将图像尺寸保持在256到768像素的范围内,这是SD 1.5 Checkpoint的理想尺寸。但是,如果你切换到SDXL Checkpoint模型,该模型以更大的图像性能更好而著称,将指导大小调整为512,最大尺寸调整为1024可能会有优势。值得尝试这种调整。

指导大小用途:在指导大小下方,有一个标记为"guide size for bbox"的选项。这允许你将重点转移到裁剪区域,该区域比边界框人脸区域大。

BBX裁剪因子:BBox裁剪因子目前设置为3。将裁剪因子减小到1.0意味着更小的裁剪区域,等于人脸区域。设置为3时,表示裁剪区域是人脸区域的3倍大。

调整裁剪因子的本质在于在为人脸详细修复器提供足够关注点和留出足够的上下文混合空间之间取得平衡。设置为3意味着裁剪区域包括稍多一些周围环境,这通常是有益的。但是,在决定合适的设置时,你还应考虑图像中人脸的大小。

5.2 人脸详细修复器 - 羽化

羽化设置决定了图像边缘或修复区域与图像其余部分无缝混合的程度。我通常将其设置为5,这对大多数情况都很有效。但是,如果你注意到图像中的修复区域有特别明显的边缘,你可能会考虑增加这个值。由于我们在这个例子中没有观察到任何明显的边缘,所以没有必要立即调整它。

5.3 人脸详细修复器 - 噪声遮罩

激活噪声遮罩可以有效地指示模型将其噪声和去噪操作集中在遮罩区域。这将边界框转换为遮罩,精确指示应用噪声和随后细化的区域。当使用Segm检测器和Sam模型时,此功能尤为重要。

5.4 人脸详细修复器 - 强制修复

强制修复是一种专门用于增强图像特定区域额外细节的工具。我们通常关注图像中的人脸。有时,自动系统可能没有为这些人脸添加足够的细节,错误地认为它们已经有足够的细节。这是使用强制修复的完美场景。

本质上,当自动设置不足以增强图像某些区域的细节时,强制修复是理想的选择。

5.5 人脸详细修复器 - 丢弃尺寸

在多人脸替换场景中特别有用,丢弃尺寸设置指示模型忽略小于指定尺寸(如10像素)的遮罩。在关注较大人脸的拥挤场景中,此功能非常宝贵。

5.6 人脸详细修复器 - BBox相关功能

BBox阈值:bbox阈值在微调人脸检测模型中至关重要。选择较低的数字意味着更宽松的检测过程。模型评估图像,为潜在的人脸分配置信度百分比。改变阈值会修改模型识别和替换人脸所需的置信度。

考虑一个背景中有面具,前景中有一个人的图像。模型可能会将面具误认为是人脸。在这种情况下,你可能会提高阈值,以确保它识别并关注清晰定义的人脸,而不是面具。相反,要在人群中替换多张人脸,人脸不太明显,降低bbox阈值有助于识别这些不太明显的人脸。

BBox扩张:bbox扩张设置允许超出最初的裁剪区域(通常限于人脸)进行扩张。当你增加扩张时,人脸周围的更多区域将包含在替换过程中。但是,这些变化通常很细微,可能需要调整裁剪因子以获得更明显的结果。

BBX裁剪因子:已在4.1中提到

5.7 人脸详细修复器 - Segm/Sam相关功能

Segm/Sam将传统的边界框细化为更精确的遮罩,提高人脸替换的准确性。当边界框与头发重叠且你不希望改变头发时,这种精度特别有用。通过使用Sam模型,你可以将替换仅集中在脸部。

Sam检测提示:Sam检测提示是一个关键设置。它指导模型在识别人脸时应该关注哪里。你有几个选项,包括中心、水平(一张或两张脸)、垂直(两张脸)以及矩形或菱形排列的四张脸。

Sam扩张:与边界框扩张类似,Sam扩张设置调整遮罩或焦点之外模型将替换的区域。增加此扩张会将遮罩区域重新扩大回框形。

Sam阈值:设置为93%的高值,Sam阈值的功能类似于其边界框对应项,但由于模型的精确性,需要更高的置信度。

Sam框扩展:此设置微调初始边界框,进一步定义面部区域。当初始边界框过于严格时,增加框扩展有利于模型捕获更多面部。

Sam遮罩提示阈值:与Sam检测提示协同工作,此设置确定模型响应提示的积极程度。默认设置为0.7。

有了这些信息,你应该对人脸详细修复器的工作原理有了更深入的了解。

6. 其他改进

6.1 使用人脸详细修复器(管道)进行两遍修复

将两个人脸详细修复器集成到双遍设置中是可行的;只需将人脸详细修复器转移到人脸详细修复器管道即可。

在单遍(1pass)配置中,重点主要是恢复基本轮廓。这需要使用适中的分辨率,并尽量减少选项。但是,在这里扩大扩张可能有利,因为它不仅涵盖面部特征,还扩展到周围区域。当整形不仅限于面部时,这种技术特别有益。你可以根据需要进行实验。

6.2 使用4x-UltraSharp放大视频

为了获得更好的结果,我们可以使用ultra sharp节点进行放大。通过调整图像大小并选择适当的放大器,你可以显著提高图像质量。

7. 免费运行人脸详细修复器ComfyUI工作流程

我们开始吧!使用人脸详细修复器ComfyUI工作流程,你现在可以修复任何视频和动画中的人脸!

想尝试我们讨论过的人脸详细修复器ComfyUI工作流程吗?一定要考虑使用RunComfy,这是一个配备强大GPU的云环境。它已经完全准备就绪,包含了与ComfyUI Impact Pack - 人脸详细修复器相关的一切,从模型到自定义节点。无需手动设置!这是你释放创造力的游乐场。

作者:RunComfy编辑

我们的编辑团队与人工智能打交道已有15年以上,从RNN/CNN时代的NLP/Vision开始。我们在AI聊天机器人/艺术/动画方面积累了大量经验,如BERT/GAN/Transformer等。如果你需要在AI艺术、动画和视频方面的帮助,请与我们交流。