IC-Light | 비디오 재조명 | AnimateDiff

ComfyUI IC-Light 워크플로우를 이용한 비디오 재조명

ComfyUI IC-Light 워크플로우를 통해 "Human" 캐릭터 비디오의 조명을 향상시킬 수 있는 잠재력을 최대한 활용하세요. ComfyUI IC-Light를 사용하면 프롬프트와 라이트맵 요소(예: 모양 및 네온 조명)를 제공하여 비디오를 쉽게 변환할 수 있습니다. 도구는 조명이 크게 개선된 새로운 비디오를 생성합니다.

ComfyUI IC-Light 워크플로우 사용 방법

1. 소스 비디오 업로드: 향상시키고 싶은 비디오를 업로드하세요.
2. 라이트 맵 비디오 또는 단일 라이트 맵 이미지 업로드: 새로운 조명 템플릿으로 사용할 라이트 맵 비디오 또는 단일 이미지를 선택하세요.
3. Load Cap 및 기타 설정 입력, 동일한 설정이 라이트 맵 비디오에도 있어야 합니다.
4. 태양광이나 네온 조명과 같은 새로운 조명 설정을 설명하는 프롬프트를 입력하세요.
5. 모델 선택. 현실적인 모델이 선호됩니다.
6. 필요에 따라 라이트 맵 구성 및 기타 설정 변경.
7. 렌더 버튼 클릭.

출력물은 ComfyUI > Outputs에 저장됩니다.

Inputs_1 - 설정

다음과 같은 5가지 설정이 있습니다:

• 샘플러 단계: 이미지 렌더링을 위해 KSampler가 수행하는 총 단계를 결정합니다. 변경하지 않는 것이 좋습니다. [기본 값 26]
• 디테일 증강기: 최종 렌더링에서 세부 사항을 증가시킵니다. [값 0.1에서 1 사이 사용]
• 시드: 각 KSamplers의 생성 시드를 제어합니다.
• 샘플러 CFG: KSamplers의 CFG 값을 제어합니다.
• 리파이너 업스케일: Highres Fix 값과 유사하게 작동합니다. [최상의 결과를 위해 1.1에서 1.6 사이 사용]

프롬프트

• 긍정 프롬프트: 새로운 조명과 함께 이미지를 가장 잘 설명하는 프롬프트를 입력하세요.
• 부정 프롬프트: 최상의 결과를 제공하도록 구성되어 있습니다. 자유롭게 수정 가능합니다.
• Clip 텍스트 인코딩 노드: 텍스트 인코딩을 최적화하는 데 도움을 줍니다. "full"로 두세요.

모델 및 로라

• 체크포인트: 정확한 결과를 위해 realistic SD 1.5 모델을 선택하세요. 스타일리시한 결과를 위해 다른 SD 1.5 모델을 선택할 수 있습니다.
• 로라: [선택 사항] 원하는 경우 제공된 목록에서 로라를 선택하세요. 최대 강도로 사용하지 마세요. 최상의 효과를 위해 0.5-0.7 정도 사용하세요.

입력 소스 비디오

• 소스 비디오 업로드: 여기에서 클릭하여 조명을 변경하고 싶은 인간 캐릭터 비디오를 업로드하세요.
  • 100MB 이하이어야 합니다. 큰 사이즈는 Comfy에서 업로드할 수 없습니다.
  • 15-20초 이하이어야 합니다. 더 긴 비디오는 렌더링에 실패할 수 있습니다.
  • 720p 이하이어야 합니다.
  • 시작 프레임을 건너뛰어야 하는 경우 Skip Frames 노드를 사용하세요. [라이트 맵 비디오도 이만큼의 프레임을 건너뛸 것입니다.]
• 이미지 크기 제한 맞추기: 여기에서 렌더링 해상도를 제한합니다. 가로 또는 세로 모두 설정된 값 이하이어야 합니다.
  • 최상의 결과를 위해 800-1200 사이의 값을 사용하세요. [이것은 VRAM에 영향을 미칩니다.]

중요: 처음 테스트할 때 프레임 로드 캡을 10으로 설정하세요.

• 24GB가 있는 경우 1000-1200 크기로 약 200-300 프레임을 사용하세요.
• 모든 프레임을 렌더링하려면 0을 사용하세요. [긴 비디오에는 권장되지 않습니다.]

마스크 및 깊이 설정

• 마스크: Robust Video Matting을 사용합니다. 기본 설정이 적합합니다.
• Depth ControlNet: 최신 DepthAnything v2 모델을 사용합니다.
  • 강도와 종료 퍼센트는 최적의 결과를 제공하기 위해 75%로 설정됩니다.
  • 최상의 결과를 위해 를 사용하세요.

라이트 맵

• 라이트 맵 업로드: 클릭하여 원하는 라이트 맵 비디오를 업로드하세요.
  • 소스 비디오의 크기에 자동으로 맞춰집니다.
  • 소스 비디오의 크기와 같거나 더 길어야 합니다. 그렇지 않으면 오류가 발생합니다.
• 라이트 맵 ControlNet: 이 라이트 맵은 을 사용하여 라이트 ControlNet으로도 사용됩니다.
• CN 강도 및 종료 퍼센트: 낮은 값을 사용하세요. 높은 값은 과다 노출이나 날카로운 조명 전환을 초래할 수 있습니다.

단일 라이트 맵

• 단일 이미지를 라이트 맵으로 사용하려면 이 노드를 음소거 해제하고 리라우트 노드를 “Pick one Input” 노드에 연결하세요.

AnimateDIff

• Animatediff 모델 로드: 다양한 효과를 위해 어떤 모델이든 사용할 수 있습니다.
• Animatediff 기타 노드: 다른 설정을 변경하려면 Animatediff에 대한 지식이 필요합니다
• 설정 SMZ: 모델 파이프라인의 품질을 높이기 위한 노드이며, 모든 설정이 잘 작동하도록 미리 정의되어 있습니다.

라이트 맵 및 IC 컨디셔닝 구성

• 위의 상단 조정 노드(회색)는 IC-Light 컨디셔닝을 제어하여 대비를 줄이고 밝기를 제어하는 데 사용됩니다.
• 새 배경 생성: 비활성화되면 원본 이미지 입력을 사용하여 긍정 프롬프트 상자에 있는 "배경 프롬프트"에 따라 원본 비디오의 배경과 유사한 세부 정보를 매핑하려고 합니다.

[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]

• 새 배경 생성이 활성화된 경우: 깊이를 고려하여 새 배경을 생성합니다.

[1girl, sunlight, sunset, nature in the background, sky]

또한 Depth ControlNet의 강도와 종료 퍼센트는 배경에 개방된 공간을 확보하기 위해 45%로 감소되었습니다.

• 라이트 맵 위: True일 때 라이트 맵이 소스 비디오 위에 위치하여 더 지배적이고, False일 때 소스가 위에 위치하여 더 지배적이고 밝습니다.
• 주제 영향 영역: 두 가지 블렌딩 모드가 가장 잘 작동합니다.
  • Multiply: 라이트 맵이 위 또는 아래에 있을 때 그림자 영역을 어둡게 합니다.
  • Screen: 라이트 맵이 위 또는 아래에 있을 때 그림자 영역을 밝게 합니다.
  • 블렌드 팩터는 강도를 나타냅니다.

• 전체 조정: 이는 위의 최종 처리된 라이트 맵의 밝기, 대비, 감마, 색조를 제어합니다.
• 이미지 리맵: 전체적인 전반적인 밝기와 어둠을 제어하기 위해 이 노드를 사용하세요.
  • 더 높은 최소 값은 장면을 밝게 합니다.
  • 더 낮은 최대 값은 장면을 어둡게 하고 밝은 영역을 QR 코드 몬스터 CN과 같은 변형 객체로 변환할 수 있습니다.
  • 장면을 약간 밝게 하려면 주로 최소 값을 0.1 또는 0.2로 사용하세요.
  • 최소 값 0은 라이트 맵의 검은 픽셀에 대해 칠흑 같은 그림자를 갖게 됩니다.

KSamplers (원본 및 리파인)

IC 원본 Ksampler: 다른 샘플러와 달리 0 대신 8단계에서 시작합니다. 이는 IC-Light 조건 때문입니다. (프레임은 8단계에서 디노이즈됩니다.)

• 예를 들어, 종료 단계가 20일 경우
• 시작 단계는
  • 0일 때 라이트 맵 효과가 없습니다.
  • 5일 때 50% 효과가 있습니다.
  • 10일 때 100% 효과가 있습니다.
  • 따라서 약 3-8이 테스트하기 좋은 값입니다.

새 배경 생성이 TRUE일 때 더 나은 결과를 위해 5 이하로 설정할 수 있습니다.

• Ksampler 리파인: IC 원본 샘플러 후 Img2Img 리파이너와 같이 작동합니다.

종료 단계가 25일 경우

• 시작 단계는
  • 10 이하일 때 원본 샘플러처럼 작동하며 변형 객체를 생성합니다.
  • 15일 때 적절한 리파이너로 작동합니다.
  • 20일 때 제대로 작동하지 않습니다.
  • 20 이상일 때 잘못된 결과를 생성합니다.
  • 따라서 기본값 16이 좋습니다.

얼굴 수정

• 얼굴 수정 업스케일: 얼굴 수정 후 얼굴이 만족스럽지 않으면 1.2에서 1.6까지 업스케일하여 더 나은 얼굴을 얻을 수 있습니다.
• 긍정 프롬프트: 여기에서 얼굴에 대한 프롬프트를 작성할 수 있습니다. 기본값은 "smiling"으로 설정되어 있습니다. 변경할 수 있습니다.
• 얼굴 디노이즈: 약 0.35-0.45를 사용하세요. 더 높은 값은 얼굴이 잘못 렌더링되거나 슬라이딩 얼굴 문제가 발생할 수 있습니다.

저장

• 비디오 결합: 모든 프레임을 비디오 형식으로 내보냅니다. 이 노드가 결합 중에 실패하면 프레임이 너무 많고 램이 부족한 것입니다. 프레임 로드 캡을 줄이세요.
  • 기본적으로 ComfyUI > Outputs에 저장됩니다.
• 출력 경로 변경: 출력물을 사용자 지정 저장 위치에 저장하려면 이 노드를 음소거 해제하세요.

이 워크플로우의 작성자에 대해

Jerry Davos

• YouTube 채널: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos

연락처

• 이메일: davos.jerry@gmail.com
• Discord: https://discord.gg/z9rgJyfPWJ