제품 재조명 비디오 | Vid2Vid

제품 재조명 비디오 워크플로우 개요

이 워크플로우는 비디오와 하나 이상의 조명 마스크를 입력하여 재조명 비디오를 생성할 수 있게 합니다. 세 가지 시나리오를 지원합니다:

1. 움직이는 피사체와 움직이는 조명 마스크
2. 정지된 피사체와 움직이는 조명 마스크
3. 움직이는 피사체와 정지된 조명 마스크

이 재조명 비디오 워크플로우는 실험적이며 완벽한 결과를 보장하지는 않지만, 비디오 재조명 프로세스에서 완벽한 프레임 병합보다는 제품의 충실도를 우선시하는 non-AnimateDiff 파이프라인을 향한 중요한 단계입니다.

재조명 비디오를 위한 입력 및 변수

워크플로우를 실행하고 원하는 비디오 재조명 효과를 얻기 위해서는 다음의 입력 및 변수가 필요합니다:

• 소스 비디오: 재조명할 입력 비디오
• 프레임 수: 처리할 총 프레임 수
• 초기 프레임 생략 수: 비디오 시작 부분에서 생략할 프레임 수
• 정지된 또는 움직이는 피사체: 피사체가 정지 상태인지 움직이는 상태인지를 나타내는 불리언 스위치
• 긴 쪽의 크기 (리사이즈): 프레임을 긴 쪽 기준으로 리사이즈할 크기
• 두 개의 조명 마스크: 초기 및 최종 조명 마스크 위치(움직이는 조명 마스크의 경우) 또는 동일한 조명 마스크(정지된 조명 마스크의 경우)
• 조명 프롬프트: 원하는 조명을 설명하는 텍스트 프롬프트
• CFG: 조명 변화의 강도를 제어하는 1.05에서 3 사이의 값 (높은 값은 더 눈에 띄는 변화를 주지만 아티팩트의 가능성이 높아짐)
• 디노이즈: 디노이즈 강도를 제어하는 0.3에서 0.6 사이의 값 (높은 값은 깜빡임이 적지만 조명 마스크가 필터처럼 보일 수 있음)

비디오 재조명 워크플로우의 작동 방식

1. 워크플로우는 각 프레임을 독립적으로 재조명하기 위해 IC-Light를 사용합니다.
2. 각 프레임에 대해 피사체 프레임과 해당 조명 마스크 프레임의 혼합을 기반으로 잠재 변수를 생성합니다.
3. 잠재 변수는 최종 출력에 조명 마스크를 강제하기 위해 낮은 디노이즈 값에서 생성됩니다.
4. IC-Light가 낮은 디노이즈 값에서 디테일을 잃을 수 있기 때문에, 워크플로우의 끝에서 주파수 분리를 사용하여 디테일과 원래 색상을 다시 전송하여 재조명 후 비디오 품질을 유지합니다.