AnimateDiff + Batch Prompt Schedule | 텍스트에서 비디오로

1. AnimateDiff + Batch Prompt Schedule 워크플로우

AnimateDiff와 Batch Prompt Schedule 워크플로우는 텍스트 프롬프트에서 동적으로 비디오를 생성할 수 있게 해줍니다. 시간이 지남에 따라 프롬프트에 대한 예약된 동적 변경을 허용함으로써 Batch Prompt Schedule은 이 프로세스를 향상시키고, 애니메이션의 내러티브와 시각적 요소에 대한 섬세한 제어를 제공하며 스토리텔링의 창의적 가능성을 확장합니다.

2. AnimateDiff 개요

ComfyUI에서 AnimateDiff를 사용하는 방법에 대한 자세한 내용을 확인하세요.

3. Batch Prompt Schedule 개요

3.1. Batch Prompt Schedule 소개

ComfyUI의 Batch Prompt Schedule은 프레임 또는 반복 시리즈에서 복잡한 프롬프트를 효과적으로 관리하고 예약할 수 있도록 설계된 강력한 노드입니다. 시간이 지남에 따라 텍스트와 매개변수를 동적으로 조정할 수 있어 애니메이션과 기타 시간 기반 미디어 프로젝트에서 세밀한 제어를 가능하게 합니다.

3.2 Batch Prompt Schedule 사용 방법

먼저 Batch Prompt Schedule 노드에는 프롬프트를 위한 세 가지 텍스트 필드 Initial Text Field, Pretext Field, Posttext Field가 있다는 점을 유의해야 합니다.

ComfyUI Batch Prompt Schedule에서 Initial Text Field를 작성하려면 본질적으로 스케줄의 모든 프레임 또는 반복에 걸쳐 적용될 핵심 또는 기본 프롬프트를 정의합니다. 이는 Pretext Field 또는 Posttext Field를 사용하여 수행되며, 이는 각각 모든 예약된 프롬프트 앞 또는 뒤에 텍스트를 추가할 수 있게 해줍니다.

Initial Text Field: Batch Prompt Schedule에서 처리하려는 프롬프트를 입력하는 주요 텍스트 입력 필드입니다. 여기에 키 프레임에 대한 프롬프트를 지정합니다. 예를 들면 다음과 같습니다:

"0": "밤에 안개 낀 묘지에서 낫을 들고 무덤 사이에 서 있는 죽음의 신, 으스스한 안개, 보름달, 주위를 날아다니는 박쥐, 할로윈 호박",
"25": "입을 벌리고 뇌를 먹고 있는 남자 좀비, 버려진 포스트 아포칼립틱 도시 풍경, 그래피티 벽, 깜박이는 가로등",
"50": "빨간 눈을 뜨고 울부짖는 늑대인간, 음침한 숲속, 밝게 빛나는 보름달, 배경에 있는 늑대 무리"

Pretext Field: 모든 예약된 프롬프트에서 일관된 기반을 허용하기 위해, 각 프롬프트의 시작 부분에 추가되는 텍스트입니다.

Posttext Field: 각 프롬프트에서 일관된 결론을 설정하거나, 프롬프트 전체에 걸쳐 일관된 요소를 추가하기 위해 각 프롬프트의 끝에 추가되는 텍스트입니다.

또한, 프롬프트를 제어하는 데 도움이 되는 몇 가지 다른 매개변수가 있습니다:

Max Frames: 배치 프롬프트 스케줄이 적용되는 최대 프레임 수를 결정합니다. 이 숫자를 배치의 잠재 변수 수 또는 생성하려는 총 애니메이션 프레임 수와 일치시키는 것이 중요합니다.

Print Output: 디버깅 또는 검증 목적으로 출력물을 인쇄할 수 있게 해주는 부울 매개변수입니다.

Start Frame: 배치 프롬프트 스케줄의 시작 프레임을 지정합니다.

PW Fields: 이 필드 (pw_a, pw_b, pw_c, pw_d)는 시간 경과에 따른 프롬프트 가중치의 동적 조정을 용이하게 합니다. 표현식을 통해 이러한 가중치를 조작하고 다른 예약된 값에 연결함으로써 창작자는 프롬프트의 다양한 측면이 배치 스케줄의 출력에 영향을 미치는 방식에 대한 미묘한 제어를 얻을 수 있습니다. 예를 들어, Initial Text Field에 pw_a, pw_b, pw_c, pw_d를 다음과 같이 통합할 수 있습니다:

"0": "스포트라이트 아래에서 활짝 웃고 있는 기쁨에 찬 무용수 (행복:`pw_a`)", 
"24": "달빛 아래 생각에 잠긴 채 춤추는 사색적인 무용수 (사색:`pw_b`)",
"48": "달빛에 반짝이는 눈물을 흘리며 그림자 속에 있는 슬픈 인물 (슬픔:`pw_c`)"

이 워크플로우는 MDMZ에서 영감을 받았습니다. 자세한 내용은 그의 YouTube 채널을 방문하세요.