MMAudio | Video-to-Audio
MMAudio는 비디오와 텍스트 입력에서 동기화된 오디오를 unmatched precision으로 생성합니다. 멀티모달 공동 학습을 사용하여 다양한 오디오-비주얼 및 오디오-텍스트 데이터셋에 원활하게 적응합니다. 고급 동기화 모듈은 완벽한 정렬을 보장하여 현대 콘텐츠 요구에 맞춘 오디오 생성을 변혁합니다.ComfyUI MMAudio 워크플로우
- 완전히 작동 가능한 워크플로우
- 누락된 노드 또는 모델 없음
- 수동 설정 불필요
- 멋진 시각 효과 제공
ComfyUI MMAudio 예제
ComfyUI MMAudio 설명
The 노드와 그 관련 워크플로우는 Kijai에 의해 완전히 개발되었습니다. 우리는 이 혁신적인 작업에 대해 Kijai에게 모든 공로를 돌립니다. RunComfy 플랫폼에서는 단순히 Kijai의 기여를 커뮤니티에 소개하고 있습니다. 현재 RunComfy와 Kijai 사이에는 공식적인 연결이나 파트너십이 없음을 유의하시기 바랍니다. 우리는 Kijai의 작업에 깊이 감사드립니다!
MMAudio
MMAudio는 비디오와 텍스트 입력으로부터 동기화된 오디오를 생성하는 강력한 도구입니다. 멀티모달 공동 학습을 활용하여 다양한 오디오-비주얼 및 오디오-텍스트 데이터셋에서 학습하여 뛰어난 적응성을 보장합니다. 고급 동기화 모듈을 통해 오디오를 비디오 프레임에 완벽하게 정렬합니다. MMAudio는 오디오 생성을 혁신하여 창작자와 혁신가에게 프로세스를 간소화합니다.
1.1 How to Use MMAudio Workflow?
이것이 MMAudio 워크플로우입니다. 왼쪽 노드는 비디오 업로드를 위한 입력, 중간은 MMAudio 노드 처리, 오른쪽은 출력 노드입니다.
- 입력 노드에 비디오를 업로드하십시오.
- 오디오 생성 프롬프트를 작성하십시오.
- 렌더링을 클릭하십시오!!!
1.2 Video Input
- 참고 비디오를 클릭하고 업로드하십시오.
비디오는 HD 비디오 또는 긴 비디오가 메모리를 초과할 수 있으므로 비디오를 ?*512 해상도로 다운스케일하도록 설정되어 있습니다.
1.3 MMAudio Processing
Positive: 오디오에 대한 비디오 생성 프롬프트를 입력하십시오.Negative: 듣고 싶지 않은 것을 입력하십시오.Steps: 더 많은 단계가 오디오 품질을 향상시킬 수 있습니다.
1.4 MMAudio Models
이것들은 모델 다운로드 노드입니다. 2-3분 안에 comfyui에 모델을 자동으로 다운로드합니다.
- MMAudio Models : https://github.com/hkchengrex/MMAudio
혁신적인 멀티모달 학습과 정밀한 동기화를 통해 MMAudio는 오디오 생성의 새로운 기준을 세웁니다. 비디오, 애니메이션 또는 몰입형 경험을 제작하든 MMAudio는 창작자에게 원활하고 고품질의 오디오를 제공합니다. 프로젝트를 향상시키고 MMAudio로 아이디어를 실현하십시오.
