Animatediff V2 & V3 | 텍스트에서 비디오로

1. ComfyUI AnimateDiff 워크플로우

이 ComfyUI AnimateDiff 워크플로우는 사용자가 AnimateDiff V3, AnimateDiff SDXL, AnimateDiff V2 버전에 걸쳐 AnimateDiff의 정교한 기능을 탐구할 수 있도록 설계되었습니다. 다양한 모션과 스타일을 통합하여 광범위한 애니메이션 탐색을 용이하게 합니다. AnimateDiff로 애니메이션을 만든 후에는 두 가지 접근 방식을 사용하여 고해상도 결과를 얻기 위해 Latent Upscale을 사용합니다. 첫 번째는 ComfyUI 내에서 노이즈 제거 강도 및 업스케일 비율과 같은 조정을 통해 기존의 latent upscaling을 활용합니다. 두 번째인 Control Net Assisted Latent Upscale은 line art 전처리기와 적절한 control net 모델을 통합하여 작품의 본질을 유지하면서 더 정확한 개선을 제공합니다.

2. AnimateDiff 개요

2.1. AnimateDiff 소개

AnimateDiff는 Stable Diffusion과 같은 text-to-image 모델로 생성된 이미지에 생명을 불어넣도록 설계된 선구적인 프레임워크로 등장합니다. 이 도구를 사용하면 정적 이미지에 모션을 원활하게 통합하여 개인화된 애니메이션 비주얼로 변환할 수 있습니다. 이 프레임워크는 실제 모션 역학을 캡처하기 위해 비디오 클립에서 학습한 모션 모델링 모듈로 기존 text-to-image 모델을 향상시키는 것을 전제로 합니다. 이 프로세스는 모델별 조정의 필요성을 제거하고 개인화된 이미지를 애니메이션화하기 위한 보편적인 솔루션을 제공합니다.

2.2. AnimateDiff의 다양한 버전

2.2.1. AnimateDiff V3: 새로운 기술로 모션 혁신

AnimateDiff V3는 최신 애니메이션 기술의 발전을 포괄하는 획기적인 모션 모듈을 도입합니다. 이 진화의 중심에는 정적 비디오 프레임에서 학습하여 모션 모듈을 준비시키는 메커니즘인 Domain Adapter LoRA 모듈이 있습니다. 이 설정을 통해 AnimateDiff는 모션의 복잡성을 능숙하게 탐색하여 애니메이션이 뉘앙스가 있고 유연하도록 보장합니다. V3는 전임자와 달리 모든 차원에서 V2를 능가하지는 않지만 다양한 모션 기능을 도입하여 사용자의 창의적 도구 세트를 풍부하게 합니다.

2.2.2. AnimateDiff SDXL: 고해상도 비디오 애니메이션

고화질 비주얼을 선호하는 애호가들을 위해 AnimateDiff SDXL은 매력적인 옵션을 제시합니다. 이 베타 버전은 개인화된 모델 유무에 관계없이 다양한 종횡비를 수용하면서 고해상도 비디오(1024x1024 해상도에 16 프레임)를 생성할 수 있도록 지원합니다. 베타 버전임에도 불구하고 SDXL은 애니메이션 콘텐츠의 품질을 높일 것으로 기대되며, 곧 더 정제된 버전이 출시될 예정입니다.

2.2.3. AnimateDiff V2: 고전적인 모션과 카메라 이동 제어

AnimateDiff V2는 향상된 해상도와 배치 크기 학습을 통해 샘플 품질을 크게 개선한 기본 버전으로 자리 잡았습니다. 이 버전은 MotionLoRA를 도입하여 줌 인/아웃, 좌/우 패닝, 상/하 틸트, 시계 방향/반시계 방향 회전을 포함한 8가지 기본 카메라 움직임을 제어할 수 있게 했습니다. 이 버전은 애니메이션에 역동적인 카메라 움직임을 통합하려는 사용자에게 이상적이며, 극적인 시각적 내러티브를 만들기 위한 강력한 도구 세트를 제공합니다.