Mochi Edit UnSampling | 비디오-투-비디오

The 노드와 관련 워크플로우는 logtd와 Kijai에 의해 완전히 개발되었습니다. 우리는 이 혁신적인 작업에 대해 logtd와 Kijai에게 모든 공로를 돌립니다. RunComfy 플랫폼에서 우리는 단순히 그들의 기여를 커뮤니티에 소개하고 있습니다. 우리는 logtd와 Kijai의 작업에 깊이 감사드립니다!

Mochi Edit 워크플로우는 사용자가 텍스트 기반 프롬프트를 사용하여 비디오 콘텐츠를 수정할 수 있도록 설계된 도구입니다. 캐릭터에 모자를 씌우는 것과 같은 요소 추가 또는 변경, 전체 스타일 조정 또는 영상 내 피사체 교체와 같은 작업을 지원합니다.

1. Mochi Edit Unsampling

Mochi Edit의 중심에는 업샘플링 기법이 있습니다. Mochi Edit의 업샘플링 기법은 비디오와 이미지를 편집하기 위한 단순화된 접근 방식을 활용하여 추가 전처리 단계나 외부 네트워크 모듈 없이 멀티모달 프롬프트를 통해 변환을 허용합니다. Mochi Edit의 업샘플링의 핵심 아이디어는 전통적인 이미지 생성 파이프라인에서 일반적인 얼굴 감지나 포즈 추정과 같은 복잡한 작업을 수행하는 대신 비디오의 잠재 표현을 직접 조작하는 것입니다. 이 방법은 GPT가 어떤 입력 프롬프트로부터도 텍스트를 생성하는 능력과 유사하게, 보다 유연하고 간소화된 이미지 생성 프로세스를 만드는 더 넓은 목표와 일치합니다. Mochi Edit의 업샘플링 기술을 통해 사용자는 멀티모달 설명에서 다양한 스타일과 수정을 직접 생성할 수 있어 프로세스를 훨씬 더 직관적이고 효율적으로 만듭니다.

요약하자면, Mochi Edit는 업로드한 비디오의 작은 변형을 생성할 수 있게 해줍니다. 예를 들어, 피사체의 동작을 다른 피사체로 복사 및 번역하거나 배경 설정을 변경하거나 피사체 속성을 변경하는 것과 같습니다.

2. Mochi Edit 워크플로우 사용 방법?

이 워크플로우에서, 좌측의 초록색 노드는 비디오 및 텍스트 입력을 위한 것이며, 중앙의 보라색 노드는 mochi 업샘플러 및 샘플러 노드이고, 우측의 파란색 노드는 비디오 출력 노드입니다.

2.1 비디오 노드 로드

• 비디오 로드 노드에서 클릭하고 비디오를 업로드하세요
• frame_load_cap: 기본값은 32 프레임입니다. 32 프레임 이상에서는 점프 아티팩트가 관찰됩니다. 최상의 결과를 위해 3초(32) 프레임 이내로 유지하세요.
• skip_frames: 특정 프레임에서 시작하고 싶다면 프레임을 건너뛰세요.

업스케일 노드에서 정사각형 형식(512 x 512) 또는 가로(848 x 480) 차원을 사용하세요. 다른 형식은 오류를 발생시킵니다.

2.2 프롬프트

이것은 실험적인 사용으로, 때로는 작동할 수도 있고, 작동하지 않을 수도 있으며, 때로는 원본 비디오를 완전히 변경할 수도 있습니다.

• 피사체의 작은 변형을 프롬프트로 사용하세요.
• 강한 변형은 이미지를 완전히 왜곡하고 변경할 수 있습니다.
• 적절한 결과를 얻지 못하는 경우 다른 시드를 시도하세요.

2.3 샘플링 및 업샘플링 노드 그룹

샘플링 및 업샘플링 Ksampler는 저자가 최적의 설정으로 설정한 것입니다. 설정을 모호하게 편집하면 이상하고 바람직하지 않은 결과를 초래할 수 있습니다. 다음을 자유롭게 조작하세요:

• 샘플러의 Seed로 변형
• num_steps 및 linear_step으로 렌더링 품질 또는 속도 변경
• eta, start_step 및 end_Step으로 업샘플링 강도, 시작 및 종료 비율 변경

2.4 Mochi 모델

모델은 comfyui에 자동으로 이 에서 다운로드됩니다. 처음 다운로드 시 10.3GB 모델을 다운로드하는 데 약 5-10분이 소요됩니다.

Mochi Edit의 업샘플링 기법은 복잡한 전처리나 추가 모듈의 필요성을 제거하여 비디오 및 이미지 편집을 혁신적으로 단순화합니다. 이 혁신적인 접근 방식은 사용자가 멀티모달 프롬프트를 통해 고품질의 맞춤형 비주얼을 손쉽게 생성할 수 있도록 합니다. 유연성과 접근성을 결합하여 Mochi Edit는 보다 직관적이고 창의적인 이미지 생성의 미래를 열어줍니다.