CogVideoX Tora | 이미지-비디오 모델

The nodes and its associated workflow are fully developed by Kijai. We give all due credit to Kijai for this innovative work. On the RunComfy platform, we are simply presenting Kijai’s contributions to the community. It is important to note that there is currently no formal connection or partnership between RunComfy and Kijai. We deeply appreciate Kijai’s work!

CogVideoX Tora

Tora는 확산 변환기 모델에서 경로 기반 지침을 활용하여 고품질 비디오를 생성하는 새로운 프레임워크를 도입합니다. 운동 경로에 집중함으로써 Tora는 보다 현실적이고 시간적으로 일관된 비디오 합성을 달성합니다. 이 접근 방식은 공간-시간 모델링과 생성적 확산 프레임워크 간의 격차를 메웁니다.

이 버전의 Tora는 CogVideoX-5B 모델을 기반으로 하며, 학문적 연구 목적으로만 사용됩니다. 라이선스 세부 정보는 를 참조하십시오.

1.1 CogVideoX Tora 워크플로우 사용 방법?

이것은 CogVideoX Tora 워크플로우입니다. 왼쪽 노드는 입력, 중간은 처리 Tora 노드, 오른쪽은 출력 노드입니다.

• 입력 노드에 가로 이미지를 드래그 앤 드롭하세요.
• 행동 프롬프트를 작성하세요.
• 경로를 만드세요.

1.2 입력 이미지 로드

• 이미지를 업로드하거나, 드래그 앤 드롭하거나 복사 및 붙여넣기(Ctrl+V)하여 로드 이미지 노드에 넣으세요.

[!CAUTION] 720*480 크기의 가로 형식 이미지만 작동합니다. 다른 크기는 오류를 발생시킵니다.

1.3 긍정적 및 부정적 프롬프트 추가

• Positive: 경로 노드에서 정의된 경로를 기반으로 주제와 관련된 행동을 입력하세요 (이동, 흐름 등).
• Negative: 발생하지 않기를 원하는 것을 입력하세요 (왜곡된 손, 흐림 등).

1.4 운동을 위한 경로 만들기

여기서 업로드된 사진의 주제의 운동 경로를 설정합니다.

• points_to_sample: 렌더링을 위한 프레임 수 또는 비디오의 프레임 단위 지속 시간을 설정합니다.
• mask_width: 기본값은 720입니다. 변경하지 마세요!
• mask_height : 기본값은 480입니다. 변경하지 마세요!

노드 가이드:

• Shift + 클릭하여 끝에 제어점을 추가합니다. Ctrl + 클릭하여 두 점 사이에 제어점(세분화)을 추가합니다.
• 점을 오른쪽 클릭하여 삭제합니다.
• 시작/끝에서 삭제할 수 없습니다.
• 캔버스를 오른쪽 클릭하여 컨텍스트 메뉴를 엽니다:
• 이것들은 순전히 시각적 옵션이며 출력에 영향을 주지 않습니다:

핸들 가시성 전환

• 샘플 포인트 표시: 반환될 포인트를 표시합니다.
• points_to_sample 값은 샘플 수를 설정합니다.
• 그려진 스플라인 자체에서 반환되며, 실제 제어점과 독립적이며 보간 유형이 중요합니다.

Sampling_method:

• time: 일정에 사용되는 시간 축을 따라 샘플링합니다.
• path: 좌표에 유용한 경로 자체를 따라 샘플링합니다.

1.5 CogVideoX 및 Tora 모델 로드

이것들은 모델 다운로드 노드이며, 2-3분 내에 ComfyUI에 모델을 자동으로 다운로드합니다.

1.6 CogVideo 샘플러

• Steps: 이 값은 렌더 품질을 결정합니다. 최상의 효율적인 값을 위해 25 - 35 사이로 유지하세요.
• cfg: CogVideo 샘플링의 기본값은 6.0입니다.
• denoising strength 및 Scheduler: 변경하지 마세요.

1.7 경로 가중치 및 강도

이 노드는 운동 경로의 강도를 설정합니다.

• strength: 높은 값은 왜곡된 형상 또는 날아다니는 점을 생성합니다. 0.5 - 0.9 사이를 사용하세요.
• start_percent: 강도 운동 효과를 완화하는 데 이 값을 사용하세요.
• end_percent: 높은 값은 왜곡된 형상 또는 날아다니는 점을 생성합니다. 0.3 - 0.7 사이를 사용하세요.

1.8 출력

이 노드는 3개의 출력을 제공합니다.

1. 출력 렌더된 비디오
2. 렌더된 비디오에 오버레이된 경로
3. 검은 배경에 경로 비디오

"CogVideoX Tora: 경로 지향 확산 변환기를 통한 비디오 생성"은 확산 변환기 프레임워크 내에서 경로 기반 지침을 도입하여 비디오 생성에 혁신적인 접근 방식을 제시합니다. 전통적인 비디오 합성 모델은 시간적 일관성과 현실적인 움직임을 유지하는데 어려움을 겪지만, CogVideoX Tora는 운동 경로 모델링에 명시적으로 초점을 맞춥니다. 이를 통해 시스템은 객체와 요소가 시간이 지남에 따라 어떻게 진화하는지를 이해함으로써 일관되고 시각적으로 설득력 있는 비디오를 생성할 수 있습니다. 고품질 이미지 생성으로 알려진 확산 모델의 강점과 변환기의 시간적 추론 능력을 결합함으로써, CogVideoX Tora는 공간 및 시간 모델링 간의 격차를 메웁니다.

CogVideoX Tora의 경로 지향 메커니즘은 객체 움직임과 동적 상호작용에 대한 세밀한 제어를 제공하여 비디오 편집, 애니메이션 및 특수 효과 생성과 같은 정밀한 운동 지침이 필요한 애플리케이션에 특히 적합합니다. 모델의 시간적 일관성 유지 및 현실적인 전환 능력은 매끄럽고 일관된 비디오 콘텐츠를 만드는 데 있어 그 적용성을 향상시킵니다. 경로 사전 지식을 통합함으로써, CogVideoX Tora는 운동 역학을 개선할 뿐만 아니라 프레임 기반 생성에서 종종 발생하는 인공물을 줄입니다. 이 돌파구는 비디오 합성의 새로운 기준을 설정하여 영화 제작, 가상 현실 및 비디오 기반 AI 분야의 창작자 및 개발자를 위한 강력한 도구를 제공합니다.