Updated: 5/16/2024
환영합니다! 이 가이드에서는 ComfyUI IPAdapter Plus로 알려진 ComfyUI IPAdapter V2의 흥미로운 기능을 살펴보겠습니다.
IPAdapter 모델은 이미지-투-이미지 조건화에 매우 강력하여 참조 이미지의 대상 또는 스타일을 새로운 작품에 쉽게 전달할 수 있습니다. 1 이미지 LoRA와 유사하다고 생각하면 됩니다.
IPAdapter Plus (IPAdapter V2)의 도입으로 모델 통합 프로세스를 간소화하고 사용성을 향상시키며 창의적 가능성을 확장하는 것을 목표로 하는 다양한 새로운 기능이 추가되었습니다.
ComfyUI IPAdapter Plus (IPAdapter V2)로 업그레이드하면 ComfyUI IPAdapter V1 노드에 의존하는 이전 워크플로가 오작동하게 된다는 점에 유의해야 합니다. 따라서 ComfyUI IPAdapter Plus를 사용하여 프로젝트를 다시 구축해야 할 것입니다.
다룰 내용:
ComfyUI IPAdapter Plus(IPAdapter V2) 워크플로를 경험해 보려면 다음 ComfyUI 웹을 사용하세요. 모든 필수 고객 노드와 모델이 완벽하게 갖춰져 있어 수동 설정 없이도 원활한 창의성을 발휘할 수 있습니다. 지금 바로 실전 경험을 쌓거나 이 튜토리얼을 계속해서 IPAdapter Plus를 효과적으로 사용하는 방법을 배울 수 있습니다.
"IPAdapter" 노드의 "Model" 및 "IPAdapter" 입력은 "IPAdapter Unified Loader" 노드의 출력에 연결되어 있습니다. 여기에서 각각 다양한 요구사항에 맞춰진 다양한 IPAdapter 모델 중 하나를 선택할 수 있습니다:
"IPAdapter" 노드의 "Image" 입력은 이미지-투-이미지 조건화에 사용되는 참조 이미지입니다. 이는 "IPAdapter" 노드에서 변환 기능이 적용되는 곳으로, 정의된 파라미터와 모델의 기능에 따라 참조 이미지를 변경합니다. 이 과정을 통해 새로운 이미지가 생성되며, 참조 이미지의 속성을 상속받아 IPAdapter 모델의 창의적 잠재력과 혼합됩니다.
"Attn Mask"를 사용하면 집중 처리를 위해 특정 이미지 영역을 강조하거나 모델의 주의를 유도할 수 있어, 특정 이미지 기능을 향상시키거나 보존하면서 모델의 초점을 조정할 수 있습니다.
파라미터 "Weight"는 적용된 수정 사항의 강도를 조정합니다. 값이 높을수록 효과가 더 두드러지며, 값이 낮을수록 변화가 미묘해집니다.
파라미터 "Start At"과 "End At"은 IPAdapter의 효과가 적용되기 시작하는 초기 단계와 최종 단계를 지정하여 처리에 대한 제어를 제공합니다.
처리 단계를 통한 가중치 적용 방법인 "Weight Type"은 각각 출력에 독특한 영향을 미칩니다:
SDXL 모델로 작업할 때 IPAdapter Plus 모델은 SDXL 모델의 특성에 원활하게 통합되고 자동으로 적응됩니다. 그러나 SDXL 모델의 요구사항에 맞게 래턴트 크기를 적절히 조정하는 것이 중요합니다.
"Image Negative", "CLIP Vision", "Combine Embeds"와 같은 파라미터와 더 많은 "Weight Type" 옵션을 통해 생성 프로세스에 대한 제어 기능을 향상시켜 이미지를 창의적 비전에 더 가깝게 정렬하는 ComfyUI IPAdapter Advanced 노드는 더 포괄적인 기능 세트를 제공합니다.
"Image Negative" 파라미터를 사용하면 최종 이미지에 나타나지 않기를 원하는 것을 정의할 수 있습니다. 부정적인 예를 지정하면 모델이 원치 않는 요소에서 멀어지도록 유도하여 더 바람직한 결과물을 얻을 수 있습니다. 이 기능은 생성된 이미지에서 특정 테마, 개체 또는 패턴을 피하는 데 도움이 되어 출력물이 사용자의 선호도를 준수하도록 합니다.
"IPAdapter Advanced" 노드에서는 "CLIP Vision" 입력을 찾을 수 있습니다. 이는 "Load CLIP Vision" 노드의 출력에 연결되며, 여기서 다양한 CLIP-ViT 모델 중에서 선택할 수 있습니다.
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors와 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors의 주요 차이점은 크기와 잠재적인 복잡성 처리 능력에 있습니다. 후자는 390억 개의 파라미터로 더 크기 때문에 전자의 320억 개 파라미터보다 더 미묘한 텍스트-이미지 관계를 해석할 수 있음을 시사합니다.
"IPAdapter" 노드와 비교할 때 "IPAdapter Advanced" 노드는 각각 출력에 독특한 영향을 미치는 더 많은 "weight type" 옵션을 제공합니다:
"Combine Embeds" 기능은 여러 소스의 입력을 하나의 일관된 시각적 출력으로 병합하려는 사용자에게 필수적입니다. "Combine Embeds"를 활용하면 다양한 예술적 영향과 영감을 통합하는 이미지를 제작할 수 있는 유연성을 갖게 되어 진정으로 개인화되고 혁신적인 창작물을 만들 수 있습니다. Concat, Add, Subtract, Average, Norm Average 등 임베드 결합을 위해 제공되는 방법은 이러한 영향을 병합하는 다양한 접근 방식을 제공합니다. 이는 섹션 4 "ComfyUI IPAdapter 이미지 병합 기능"에서 자세히 다룰 예정입니다.
위에서 언급한 구성에서는 FaceID 모델이 없음을 알 수 있습니다. Face ID 모델을 워크플로에 통합하려면 두 개의 특정 노드인 "IPAdapter Unified Loader FaceID" 노드와 "IPAdapter FaceID" 노드가 필요합니다.
"IPAdapter Unified Loader FaceID" 노드 내에서 사용 가능한 모델의 드롭다운 메뉴에서 최신 "Face ID Plus V2"를 선택할 수 있습니다. 이 작업은 로더가 Face ID Plus V2 모델에 고유한 모든 필요한 종속성을 자동으로 수집하고 준비하도록 지시합니다.
Provider로 CPU를 선택하세요. 고성능 GPU를 사용할 수 있음에도 불구하고 Face ID 모델을 CPU를 활용하도록 구성하는 것이 좋습니다. 이 권장 사항은 소중한 Video RAM(VRAM)을 보존하는 이점에서 비롯된 것으로, 이는 전반적인 효율성을 최적화하고 프로젝트의 리소스 할당 효과를 높이는 데 도움이 되는 전략입니다.
여러 참조 이미지를 사용하여 새로운 이미지를 생성하는 방법은 무엇일까요? 다음은 ComfyUI의 IPAdapter Plus를 사용하여 이를 달성하는 두 가지 방법으로, 창의적인 이미지 생성에 필요한 유연성과 제어 기능을 제공합니다.
"Batch Image" 노드를 시작하려면 먼저 병합할 이미지를 선택해야 합니다. 이 이미지들은 노드에 입력되어 통합된 배치를 생성합니다. 이 배치는 이후 IPAdapter 파이프라인에 도입되어 각 이미지를 순차적으로 생성 프로세스에 적용합니다.
"IPAdapter Advanced" 노드는 여러 이미지가 생성에 미치는 영향을 정교하게 제어할 수 있는 "Combine Embeds" 옵션을 도입했습니다. Concat, Add, Subtract, Average, Norm Average와 같은 이 옵션은 서로 다른 이미지의 임베딩이 병합되는 방식을 결정하며, 각각 고유한 결과로 이어집니다:
다음 그림에서 서로 다른 "Combine Embeds"를 사용하면 다른 결과를 얻게 될 것입니다.
최종 이미지에서 참조 이미지의 가중치를 더 세밀하게 제어하려는 사용자를 위해 IPAdapter는 "IPAdapter Encoder" 노드와 "IPAdapter Combine Embeds" 노드를 사용하는 솔루션을 제공합니다.
병합 프로세스의 각 이미지는 IPAdapter 인코더 노드를 통해 처리되며, 이는 IPAdapter와의 호환성을 위해 이미지를 인코딩합니다. "IPAdapter Encoder" 노드 내에서 사용자는 각 이미지에 특정 가중치를 할당할 수 있으며, 이는 병합된 출력물에 대한 이미지의 영향력을 결정합니다. 이러한 가중치를 조정하면 구성에서 각 이미지의 지배력이나 미묘함을 세밀하게 제어할 수 있습니다.
이미지를 인코딩하고 가중치를 설정한 후에는 "IPAdapter Combine Embeds" 노드가 인코딩된 표현을 병합합니다. 이 노드는 인코더 노드에서 나온 긍정적인 임베딩을 결합하여 병합된 출력에 대한 각 이미지의 의도된 영향을 반영합니다. 이렇게 균형 잡힌 임베딩은 이제 합성될 준비가 된 것입니다.
합성된 임베딩은 마지막으로 IP Adapter에 의해 처리되어 새로운 이미지를 생성합니다. 부정적인 임베딩을 연결하는 것은 선택 사항이지만, 연산 자원을 절약하기 위해 그렇게 하는 것이 좋습니다. 인코더 노드에서 두 개의 부정적인 임베딩 중 하나를 선택하여 IPAdapter 노드에 연결하면 불필요한 연산을 최소화하고 병합 프로세스를 간소화하여 프로세스가 최적화됩니다.
이러한 방법을 따라 여러 이미지를 효과적으로 병합하여 새롭고 창의적인 구성을 생성할 수 있으며, ComfyUI IPAdapter Plus의 기능을 최대한 활용할 수 있습니다!
긴 이미지를 처리할 때는 독특한 문제에 직면할 수 있습니다. IPAdapter 프레임워크의 핵심 구성 요소인 CLIP Vision 인코더는 본질적으로 정사각형 이미지를 선호합니다. 이로 인해 긴 이미지를 IPAdapter 노드에 직접 연결하면 크롭 문제가 발생할 수 있으며, 일반적으로 이미지의 중앙 부분만 출력에 영향을 미치게 됩니다. 따라서 이미지의 상단과 하단 부분이 무시되어 생성된 콘텐츠의 전반적인 품질에 영향을 줄 수 있습니다.
이 문제를 해결하기 위해 "IPAdapter Tiled" 노드는 맞춤형 솔루션을 제공합니다. 이 노드는 사진을 더 작고 관리 가능한 타일로 분할하여 긴 이미지를 직접 연결할 수 있게 해줍니다. 이 방법은 참조 이미지의 모든 부분이 생성 프로세스 중에 고려되도록 하여 부분 이미지 무시 문제를 방지합니다.
"IPAdapter Tiled" 노드의 추가 기능은 이미지가 처리되는 방식을 시각적으로 표현하는 타일 및 마스크 출력입니다. 이 기능은 사용된 특정 타일과 해당 마스크를 보여주어 생성 프로세스의 내부 작동 방식에 대한 통찰력을 제공합니다. 이미지가 분할되고 처리되는 방식을 이해하면 원하는 결과를 얻기 위해 정보에 입각한 조정을 할 수 있습니다.
또한 "IPAdapter Tiled" 노드는 맞춤형 마스크 조정을 허용하여 긴 이미지의 특정 부분을 강조하거나 집중할 수 있는 유연성을 제공합니다. 이러한 마스크를 조정하면 긴 이미지의 특정 요소에 더 많은 주의를 기울일 수 있어 결과물에 대한 향상된 제어 기능을 제공합니다. 이 기능은 이미지 내의 특정 측면을 강조하거나 최소화하는 데 매우 중요하며, 생성된 콘텐츠가 사용자의 비전과 정확히 일치하도록 보장합니다.
따라서 "IPAdapter Tiled" 노드를 ComfyUI IPAdapter Plus에 통합하면 긴 이미지와 관련된 이미지-투-이미지 조건화 프로젝트를 처리하는 능력이 크게 향상됩니다.
참조 이미지의 스타일과 구성을 조작하고 결합하여 새롭고 매력적인 시각 효과를 만들기 위해 ComfyUI IPAdapter Plus를 어떻게 사용하는지 알아보겠습니다. ComfyUI IPAdapter Plus는 한 이미지의 스타일을 전달하고 다른 이미지의 구성을 유지하거나 심지어 서로 다른 참조에서 스타일과 구성을 모두 병합하여 단일 이미지로 만드는 기능을 포함하여 예술가와 디자이너가 실험할 수 있는 강력한 도구 모음을 제공합니다.
ComfyUI IPAdapter Advanced 노드를 사용하여 1 이미지 LoRA와 같이 참조 이미지의 스타일을 대상 콘텐츠로 전송하려면 다음 단계를 따르세요:
"IPAdapter Advanced" 노드 설정: 워크플로에 "IPAdapter Advanced" 노드를 추가하는 것부터 시작합니다.
노드 구성: ComfyUI IPAdapter Advanced 노드의 설정에서 "Weight Type" 옵션을 찾습니다. 드롭다운 메뉴를 사용하여 "Style Transfer (SDXL)"을 선택합니다. 이 구성은 어댑터가 참조 이미지의 시각적 스타일을 대상에 전달하는 데 우선순위를 두도록 지시합니다.
스타일 전송 "Weight" 조정: "weight" 설정은 스타일 전송의 강도를 결정합니다. 이 값을 높이면 참조 스타일이 대상 이미지에 미치는 영향이 증폭되어 효과가 더 뚜렷해집니다.
새 이미지를 생성하면서 참조 이미지의 구성을 유지하려면 다른 설정을 사용하여 ComfyUI IPAdapter Advanced 노드를 사용해야 합니다:
"IPAdapter Advanced" 노드 설정: 이전과 마찬가지로 워크플로에 IPAdapter Advanced 노드를 추가합니다.
노드 구성: "Weight Type" 드롭다운에서 "Composition (SDXL)"을 선택합니다. 이것은 어댑터에게 새로운 생성에서 참조 이미지의 구성 요소를 유지하도록 지시합니다.
구성 "Weight" 조정: "weight" 설정을 수정하여 새 이미지가 참조의 구성을 얼마나 엄격하게 준수하는지 영향을 줍니다. 가중치가 높을수록 참조의 구성을 더 엄격하게 적용합니다.
한 이미지의 스타일과 다른 이미지의 구성을 모두 전송해야 하는 프로젝트의 경우 "IPAdapter style & composition SDXL" 노드가 간소화된 솔루션을 제공합니다:
"IPAdapter Style & Composition SDXL" 노드 선택: 이 특수 노드를 프로젝트에 추가하여 스타일과 구성 전송을 동시에 처리합니다.
스타일 및 구성 참조 로드: "IPAdapter Style & Composition SDXL" 노드는 스타일을 전송하려는 이미지와 구성을 유지하려는 이미지, 두 개의 입력을 허용합니다. 두 참조를 모두 그에 맞게 로드합니다.
스타일과 구성 모두에 대한 "Weights" 구성: "IPAdapter Style & Composition SDXL" 노드는 스타일과 구성에 대해 별도의 가중치 설정을 제공합니다. 최종 이미지에 대한 각 참조의 영향의 균형을 맞추기 위해 이러한 가중치를 조정하세요. 스타일이나 구성에 대해 더 높은 가중치를 설정하면 생성된 이미지에서 해당 측면이 우선시됩니다.
이러한 단계를 따르고 설정을 실험하면 ComfyUI IPAdapter Plus를 활용하여 한 예술 작품의 독특한 스타일과 다른 작품의 사려 깊은 구성이 결합된 시각적으로 멋진 이미지를 만들 수 있습니다.
ComfyUI IPAdapter Plus(IPAdapter V2) 워크플로를 경험해 보려면 다음 ComfyUI 웹을 사용하세요. 모든 필수 고객 노드와 모델이 완벽하게 갖춰져 있어 수동 설정 없이도 원활한 창의성을 발휘할 수 있습니다. 지금 바로 실전 경험을 쌓아보세요!
© 저작권 2024 RunComfy. All Rights Reserved.