ComfyUI 워크플로우/튜토리얼의 Face Detailer - 모든 비디오 또는 애니메이션에서 얼굴 수정하기

안녕하세요! 🌟 오늘은 ComfyUI의 Face Detailer로 이미지와 비디오에서 얼굴을 교체하고 수정하는 예술에 대해 알아보겠습니다. 디지털 페인트브러시를 들고 예술적인 작업을 시작해볼까요!

다음 내용을 다룰 예정입니다:

1. ComfyUI의 Face Detailer란 무엇인가요?
   • Automatic111용 After Detailer (ADetailer) vs. ComfyUI용 Face Detailer
   • ComfyUI Impact Pack - Face Detailer
2. Face Detailer ComfyUI 워크플로우 - 설치 불필요, 완전 무료
3. Face Detailer 노드 추가하기
4. Face Detailer 입력
   • 복원하려는 이미지 입력하기
   • 모델, Clip, VAE 선택 및 긍정 프롬프트와 부정 프롬프트 입력
   • BBox Detector와 Segm Detector (Sam 모델)의 차이점
5. Face Detailer 설정: ComfyUI에서 Face Detailer 사용 방법
   • Face Detailer - Guide Size, Guide Size For, Max Size 및 BBX Crop Factor
   • Face Detailer - Feather
   • Face Detailer - Noise Mask
   • Face Detailer - Force Inpainting
   • Face Detailer - Drop Size
   • Face Detailer - BBox 관련 기능
   • Face Detailer - Segm/Sam 관련 기능
6. 기타 개선사항
   • Face Detailer(Pipe)로 2패스 리파인
   • 4x-UltraSharp로 비디오 업스케일
7. Face Detailer ComfyUI 워크플로우 무료로 실행하기

1. ComfyUI의 Face Detailer란 무엇인가요?

1.1 Automatic111용 After Detailer (ADetailer) vs. ComfyUI용 Face Detailer

얼굴 수정에 사용되는 Automatic111용 After Detailer (ADetailer) 확장 기능에 대해 알고 계시거나 들어보셨을 것입니다. ComfyUI에도 이와 유사한 Face Detailer 기능이 있으며 Impact Pack 노드의 일부입니다. 따라서 ComfyUI에서 ADetailer를 사용하려면 ComfyUI의 Impact Pack에서 Face Detailer를 선택해야 합니다.

1.2 ComfyUI Impact Pack - Face Detailer

ComfyUI Impact Pack은 이미지 개선을 위한 디지털 도구 상자로, 이미지용 스위스 군용 나이프와 같은 역할을 합니다. Detector, Detailer, Upscaler, Pipe 등 다양한 모듈이 포함되어 있습니다. 특히 Face Detailer는 이미지, 비디오 및 애니메이션에서 얼굴을 쉽게 복원할 수 있습니다.

2. Face Detailer ComfyUI 워크플로우 - 설치 불필요, 완전 무료

위 영상은 Face Detailer ComfyUI 워크플로우를 사용하여 제작되었습니다. 이제 Face Detailer 워크플로우를 설치 없이 경험할 수 있습니다. Impact Pack - Face Detailer 노드와 원활한 경험을 위해 필요한 모든 모델이 사전 로드된 클라우드 기반 ComfyUI에서 모든 것이 설정되었습니다. 지금 이 Face Detailer 워크플로우를 실행하거나 사용 방법에 대한 이 튜토리얼을 계속 읽고 나중에 시도해 볼 수 있습니다.

3. Face Detailer 노드 추가하기

자, 이제 Face Detailer ComfyUI를 직접 다뤄볼까요? Face Detailer 노드는 처음 보면 복잡해 보일 수 있지만 두려워하지 마세요. 하나씩 파헤쳐 보겠습니다. 각 입력, 출력 및 매개변수를 이해하면 금세 이 강력한 도구를 전문가처럼 다룰 수 있을 거예요.

ComfyUI에서 Face Detailer를 찾으려면 Add Node → Impact Pack → Simple → Face Detailer / Face Detailer (pipe)로 이동하면 됩니다.

"Face Detailer"부터 시작한 다음 "Face Detailer Pipe"로 들어가 보겠습니다.

• FaceDetailer - 얼굴을 쉽게 감지하고 개선합니다.
• FaceDetailer (pipe) - 얼굴을 쉽게 감지하고 개선합니다(멀티패스용).

이 튜토리얼에서는 비디오에서 얼굴을 수정하거나 교체하는 방법에 대해 알아보겠습니다. 이 비디오는 AnimateDiff를 사용하여 생성되었습니다. AnimateDiff에 대해 더 알고 싶다면 전용 AnimateDiff 튜토리얼이 있습니다!

이미지 작업에 더 익숙하다면 비디오 관련 노드를 이미지 관련 노드로 교체하기만 하면 됩니다. Face Detailer는 비디오와 이미지 모두를 다룰 수 있을 만큼 다재다능합니다.

4. Face Detailer 입력

4.1 복원하려는 이미지 입력하기

Face Detailer ComfyUI에 이미지 또는 비디오를 입력하는 이미지 입력(Face Detailer 왼쪽 상단 버튼)부터 시작해보겠습니다. 변환이 시작되는 곳이죠! 여기서는 AnimateDiff로 생성된 비디오를 Face Detailer에 입력합니다.

4.2 모델, Clip, VAE 선택 및 긍정 프롬프트와 부정 프롬프트 입력

이러한 설정에는 이미 익숙하실 것입니다. 기본 사항은 건너뛰고 긍정 프롬프트와 부정 프롬프트가 여기서 중요한 역할을 한다는 점만 언급하겠습니다. 비디오를 생성한 것과 동일한 프롬프트를 사용할 것입니다. 하지만 특히 교체하려는 얼굴에 대해서는 이러한 프롬프트를 자유롭게 사용자 정의할 수 있습니다.

흥미로운 점은 이미지 생성에 사용한 것과 동일한 프롬프트를 사용하면 얼굴 복원으로 이어진다는 것입니다. 반면에 다른 프롬프트를 사용하면 완전한 얼굴 교체를 선택하는 것입니다. 모두 여러분의 선택입니다!

팁: "To Basic Pipe"와 "From Basic Pipe" 사용하기

많은 노드를 연결하는 과정을 단순화하려면 "Pipe" 시스템을 활용하세요. 입력 결합기인 "To Basic Pipe"로 시작하여 다양한 입력을 수집합니다. 그런 다음 "From Basic Pipe"를 사용하여 이러한 입력을 풉니다. 이 두 파이프를 연결하기만 하면 빠르고 효율적인 통합에 필요한 모든 입력을 준비할 수 있습니다.

4.3 BBox Detector와 Segm Detector (Sam 모델)의 차이점

BBox 모델은 바운딩 박스를 사용하여 요소를 식별하는 데 특화되어 있는 반면, Segm/person 모델은 마스크를 사용하여 감지합니다.

BBox Detector와 Segm Detector 모두 "Ultral Litic Detector Provider" 노드를 사용합니다. 그러나 BBox Detector의 경우 bbox/face_yolov8m와 bbox/hand_yolov8s 모델을 특별히 사용합니다. 대조적으로 segm/person_yolov8m-seg 모델은 Segm Detector에만 사용됩니다.

다음은 BBox Detector에만 해당됩니다. 따라서 자른 이미지와 향상된 이미지의 미리보기가 상자로 나타나는 것을 볼 수 있습니다.

이어서 BBox Detector와 Segm Detector의 기능을 결합하고 Sam 모델을 통합하면 자른 이미지와 향상된 이미지의 미리보기가 마스크와 유사한 모습으로 나타납니다.

5. Face Detailer 설정: ComfyUI에서 Face Detailer 사용 방법

5.1 Face Detailer - Guide Size, Guide Size For, Max Size 및 BBX Crop Factor

Guide Size: BBX의 가이드 크기는 이미지의 face detailer를 바운딩 박스 얼굴 영역(자른 이미지의 미리보기에 표시된 대로)에 집중시킵니다. 기본값은 256으로 설정되어 있는데,이는 바운딩 박스 얼굴 영역이 256픽셀 미만인 경우 시스템이 자동으로 최소 256픽셀로 확대함을 의미합니다.

Max Size: 최대 크기는 자른 영역(자른 이미지의 미리보기에 표시된 대로)이 얼마나 클 수 있는지에 대한 상한선을 설정합니다. 이 제한은 영역이 너무 커져서 다른 문제가 발생하는 것을 방지하기 위한 것입니다. 기본 최대 크기는 768픽셀입니다.

최적 범위 유지: 이러한 매개변수를 설정하면 이미지 크기를 SD 1.5 체크포인트에 이상적인 256~768픽셀 범위로 유지할 수 있습니다. 그러나 더 큰 이미지에서 더 나은 성능을 보이는 SDXL 체크포인트 모델로 전환하는 경우 가이드 크기를 512로, 최대 크기를 1024로 조정하는 것이 유리할 수 있습니다. 이 조정은 실험해 볼 만한 가치가 있습니다.

Guide Size for: 가이드 크기 아래에는 "guide size for bbox"라는 옵션이 있습니다. 이를 통해 바운딩 박스 얼굴 영역보다 큰 영역인 자른 영역으로 초점을 이동할 수 있습니다.

BBX Crop Factor: BBX 자르기 계수는 현재 3으로 설정되어 있습니다. 자르기 계수를 1.0으로 줄이면 얼굴 영역과 같은 더 작은 자르기 영역을 의미합니다. 3으로 설정하면 자르기 영역이 얼굴 영역의 3배 크기임을 나타냅니다.

자르기 계수 조정의 핵심은 얼굴 디테일러에 적절한 초점을 제공하면서 컨텍스트 블렌딩을 위한 충분한 공간을 허용하는 균형을 찾는 것입니다. 3으로 설정하면 자르기 영역에 주변 컨텍스트가 약간 더 포함되므로 일반적으로 유리합니다. 하지만 적절한 설정을 결정할 때는 이미지에서 얼굴의 크기도 고려해야 합니다.

5.2 Face Detailer - Feather

Feather 설정은 이미지 가장자리나 인페인팅 영역이 이미지의 나머지 부분과 얼마나 매끄럽게 혼합되는지를 결정합니다. 일반적으로 5로 설정하면 대부분의 경우에 잘 작동합니다. 하지만 이미지의 인페인팅에 특히 거친 가장자리가 있는 것을 발견하면 이 값을 늘리는 것을 고려해 볼 수 있습니다. 이 예에서는 거친 가장자리가 관찰되지 않으므로 즉시 조정할 필요는 없습니다.

5.3 Face Detailer - Noise Mask

Noise Mask를 활성화하면 모델이 노이즈와 디노이즈 작업을 마스크 영역에만 집중하도록 효과적으로 지시합니다. 이는 바운딩 박스를 마스크로 변환하여 노이즈가 적용되고 이후에 정제되는 영역을 정확하게 나타냅니다. 이 기능은 특히 Segm 디텍터와 Sam 모델로 작업할 때 중요합니다.

5.4 Face Detailer - Force Inpainting

Force Inpaint는 이미지의 특정 영역에 추가 디테일을 향상시키기 위한 특수 도구 역할을 합니다. 종종 이미지에서 얼굴에 초점을 맞춥니다. 자동 시스템이 이미 적절히 세부적이라고 잘못 가정하여 이러한 얼굴에 충분한 디테일을 추가하지 않는 경우가 있습니다. 이것이 Force Inpaint를 활용하기에 완벽한 시나리오입니다.

본질적으로 Force Inpaint는 자동 설정으로는 부족할 때 이미지의 특정 영역에서 디테일을 강화하는 데 이상적입니다.

5.5 Face Detailer - Drop Size

다중 얼굴 교체 시나리오에서 특히 유용한 드롭 크기 설정은 모델에게 10픽셀과 같은 지정된 크기보다 작은 마스크를 무시하도록 지시합니다. 이 기능은 더 큰 얼굴에 초점을 맞추는 붐비는 장면에서 매우 유용합니다.

5.6 Face Detailer - BBox 관련 기능

BBox Threshold: bbox 임계값은 얼굴 감지 모델을 미세 조정하는 데 중요합니다. 숫자가 낮을수록 감지 프로세스가 더 관대해집니다. 모델은 이미지를 평가하고 잠재적 얼굴에 신뢰도 백분율을 할당합니다. 임계값을 변경하면 모델이 얼굴을 인식하고 교체하는 데 필요한 신뢰 수준이 수정됩니다.

전경에 사람이 있고 배경에 마스크가 있는 이미지를 고려해 보세요. 모델은 마스크를 얼굴로 혼동할 수 있습니다. 이러한 경우 임계값을 높여 마스크가 아닌 명확하게 정의된 얼굴을 인식하고 집중하도록 할 수 있습니다. 반대로 얼굴이 덜 뚜렷한 군중 속에서 여러 얼굴을 교체하려면 bbox 임계값을 낮추는 것이 이러한 덜 명확한 얼굴을 식별하는 데 도움이 될 수 있습니다.

BBox Dilation: bbox 확장 설정을 사용하면 일반적으로 얼굴로 제한되는 초기 자르기 영역을 넘어 확장할 수 있습니다. 확장을 늘리면 얼굴 주변 영역이 교체 프로세스에 더 많이 포함됩니다. 하지만 이러한 변화는 종종 미묘하며 더 눈에 띄는 결과를 위해서는 자르기 계수를 조정해야 할 수도 있습니다.

BBX Crop Factor: 4.1에서 이미 언급됨

5.7 Face Detailer - Segm/Sam 관련 기능

Segm/Sam은 기존의 바운딩 박스를 더 정확한 마스크로 정제하여 얼굴 교체의 정확성을 높입니다. 이 정밀도는 바운딩 박스가 머리카락과 겹치고 머리카락을 변경하고 싶지 않은 시나리오에서 특히 유용합니다. Sam 모델을 사용하면 교체를 얼굴에만 집중시킬 수 있습니다.

Sam Detection Hint: Sam 감지 힌트는 중요한 설정입니다. 얼굴을 식별할 때 모델이 어디에 초점을 맞출지 안내합니다. Center, Horizontal(얼굴 1개 또는 2개), Vertical(얼굴 2개), 직사각형 또는 다이아몬드 형태로 4개의 얼굴을 배열하는 옵션 등 여러 옵션이 있습니다.

Sam Dilation: 바운딩 박스 확장과 유사하게 Sam 확장 설정은 모델이 교체할 마스크 또는 초점 영역 외부 영역을 조정합니다. 이 확장을 늘리면 마스크 영역이 박스 모양으로 다시 확장됩니다.

Sam Threshold: 93%의 높은 수준으로 설정된 Sam 임계값은 바운딩 박스 상대와 같은 방식으로 작동하지만 모델의 정밀성으로 인해 더 높은 신뢰 수준을 요구합니다.

Sam Box Expansion: 이 설정은 초기 바운딩 박스를 미세 조정하여 얼굴 영역을 더 정의합니다. 초기 바운딩 박스가 너무 제한적인 경우 박스 확장을 늘리면 모델이 얼굴을 더 많이 캡처할 수 있습니다.

Sam Mask Hint Threshold: Sam 감지 힌트와 함께 작동하는 이 설정은 힌트에 대한 모델의 공격성을 결정합니다. 기본 설정은 0.7입니다.

이 정보를 통해 face detailer의 작동 방식을 훨씬 더 깊이 이해할 수 있을 것입니다.

6. 기타 개선사항

6.1 Face Detailer(Pipe)로 2패스 리파인

Face Detailer 두 개를 통합하여 2패스 설정을 만드는 것이 가능합니다. Face Detailer를 FaceDetailerPipe로 전송하기만 하면 됩니다.

단일 패스(1pass) 구성에서는 주로 기본 윤곽을 복원하는 데 초점을 맞춥니다. 이를 위해서는 최소한의 옵션으로 중간 해상도를 사용해야 합니다. 하지만 여기서 확장을 늘리는 것이 유리할 수 있는데, 얼굴 부위뿐만 아니라 주변 영역까지 포함하기 때문입니다. 이 기술은 재구성이 얼굴 부분을 넘어설 때 특히 유용합니다. 필요에 따라 실험해 볼 수 있습니다.

6.2 4x-UltraSharp를 사용하여 비디오 업스케일

더 나은 결과를 얻으려면 ultra sharp 노드를 사용하여 업스케일링할 수 있습니다. 이미지 크기를 조정하고 적절한 업스케일러를 선택하면 이미지 품질을 크게 향상시킬 수 있습니다.

7. Face Detailer ComfyUI 워크플로우 무료로 실행하기

자, 갑니다! Face Detailer ComfyUI 워크플로우를 사용하면 이제 모든 비디오와 애니메이션에서 얼굴을 수정할 수 있습니다!

우리가 논의한 Face Detailer ComfyUI 워크플로우를 시도해 보고 싶으신가요? 강력한 GPU가 장착된 클라우드 환경인 RunComfy 사용을 고려해 보세요. ComfyUI Impact Pack - Face Detailer와 관련된 모델과 사용자 정의 노드를 모두 포함하도록 완벽하게 준비되어 있습니다. 수동 설정이 필요 없습니다! 창의력을 마음껏 발휘할 수 있는 놀이터입니다.

작성자: RunComfy 편집자

우리 편집자 팀은 RNN/CNN 시대부터 15년 이상 AI와 함께해 왔으며, NLP/Vision 분야에서 출발했습니다. BERT/GAN/Transformer 등 AI 챗봇/아트/애니메이션과 관련하여 엄청난 양의 경험을 축적해 왔습니다. AI 아트, 애니메이션, 비디오에 도움이 필요하다면 우리에게 연락하세요.