IPAdapter V1 + AnimateDiff + ControlNet | 모션 아트

1. Jellyfish Ballerina Workflow

이 워크플로는 물속에서 해파리의 움직임을 흉내내며 우아하게 춤추는 발레리나의 매혹적인 애니메이션을 만듭니다. Matt3o가 개발한 이 매력적인 프로젝트는 그의 YouTube에 소개되어 많은 영감을 줍니다.

우리는 이 워크플로의 핵심 구성 요소를 분석하여 쉽게 이해할 수 있도록 만들었습니다. 또한, 이 방법을 적용하여 다양한 애니메이션 작품을 만들 수 있는 방법을 보여줌으로써 창의적 범위를 넓힙니다.

2. 입력 준비

입력 자료에는 발레리나의 비디오와 해파리의 사진이 시작점으로 포함됩니다. 목표는 발레리나의 움직임이 물속을 미끄러지듯 움직이는 해파리의 움직임을 반영하는 애니메이션을 만드는 것입니다.

3. IPAdapter: 세 개의 IPAdapter 구현

이 워크플로는 각각 독특한 역할을 가진 세 개의 별개 IPAdapter를 통합합니다.

첫째, IPAdapter가 애니메이션을 정제하고 향상시키는 데 중요한 역할을 한다는 점을 이해하는 것이 중요합니다. 그들은 깊이, 디테일, 안정성을 더합니다. 그러나 주목할만한 제한 사항은 입력 이미지가 정사각형(예: 224x224 픽셀)이어야 한다는 것입니다. 이 제약 조건은 세로 또는 가로 형식의 모든 유형의 비디오 콘텐츠와 잘 맞지 않습니다.

이를 해결하기 위해 이 워크플로는 발레리나의 상체와 하체에 대해 두 개의 IPAdapter를 사용합니다. 이 전략은 각 신체 부위를 독립적으로 정사각형 형식으로 크기를 조정할 수 있게 함으로써 디테일과 비율을 유지하면서 입력 크기 제한을 극복합니다.

첫 번째 IPAdapter: 상체와 머리 움직임 안정화 초기 IPAdapter는 발레리나의 상체와 머리 애니메이션을 정제하여 명확하고 우아하게 표현되도록 하는 데 전념합니다.

두 번째 IPAdapter: 하체 움직임 정제 두 번째 IPAdapter는 다리를 포함한 발레리나의 하체에 초점을 맞추어 상체의 움직임과 어울리는 유동성과 우아함을 향상시킵니다.

세 번째 IPAdapter: 해파리 요소 통합 마지막 IPAdapter는 해파리 모티프를 도입하여 전체 애니메이션의 주제적 앵커 역할을 합니다. 해파리 이미지를 사용하여 애니메이션에 생물의 몽환적이고 흐르는 듯한 특징을 불어넣어 발레리나의 춤과 매끄럽게 융합합니다.

4. 마스크: 배경 제거

이 작품 제작에서 중요한 세부 사항은 발레리나의 원래 춤 배경에서 발생할 수 있는 주의 산만함을 다루는 것입니다. 이를 해결하기 위해 발레리나를 비디오의 나머지 부분에서 분리하기 위한 마스크가 생성됩니다. 고급 분할 전처리기를 사용하여 댄서를 효과적으로 분리하여 보다 집중적이고 정확한 애니메이션을 보장합니다.

5. ControlNet: 포즈 정확도 보장

발레리나의 포즈를 정확히 잡는 것이 중요합니다. 여기서 ControlNet이 등장하여 댄서의 움직임을 정밀하게 모방하여 애니메이션을 의도한 안무에 맞춥니다. 이는 댄서의 움직임의 본질을 포착하는 데 중요한 역할을 하며, 각 프레임이 실제 발레리나의 우아함과 정밀성을 반영하도록 합니다.

6. AnimateDiff: 유동성 보장

Jellyfish Ballerina 프로젝트에서 AnimateDiff는 해파리의 움직임의 매끄러운 흐름을 반영하여 프레임 간의 부드러운 전환을 만드는 데 중요합니다. 애니메이션의 유동성을 보장하는 데 중요한 역할을 하며, 각 동작이 다음 동작으로 자연스럽게 혼합되어 움직임의 우아함의 본질을 포착합니다.

위에 설명된 구성 요소를 활용하면 해파리처럼 발레리나의 매혹적인 춤을 재현할 수 있습니다. 다양한 입력 비디오와 참조 이미지를 실험하면 모션 아트 제작에서 창의적인 가능성을 더욱 열어줄 것입니다!