Z-Depth Maps | Houdini와 같은 애니메이션

멋진 Houdini와 같은 애니메이션을 만들고 싶었지만 3D 소프트웨어의 복잡함에 겁을 먹으셨나요? 더 이상 걱정하지 마세요! 이 혁신적인 ComfyUI 워크플로우는 깊이(Z-Depth) 조작을 적용하고 2D 이미지만을 사용하여 매혹적인 애니메이션을 생성하는 과정을 안내합니다.

예술가, 디자이너 또는 열정적인 분이라면 누구나 ComfyUI에서 2D 이미지의 단순함과 편리함을 유지하면서 고급 3D 기술로 만든 것처럼 보이고 느껴지는 멋진 애니메이션을 생성할 수 있습니다.

Step 1: 시작 이미지 생성

시작하려면 애니메이션의 기초가 될 시작 이미지를 생성해야 합니다. 이미지를 얻은 후에는 파일 크기를 관리하기 쉽게 1 메가픽셀과 같은 작은 크기로 축소하세요.

Step 2: 단일 이미지에서 마스크 애니메이션 생성

이 단계에서는 단일 이미지를 마스크 애니메이션으로 변환합니다. 단일 이미지를 반복하여 원하는 프레임 수(예: 32) 만큼 비디오를 생성합니다. 배경 제거 모델(InSPyR-Net) 등을 사용하여 배경을 제거하여 주제를 분리합니다. 배경을 제거한 후에는 마스크를 몇 픽셀 축소하여 깊이 조작 과정에 잘 작동하도록 합니다.

다음으로, 단일 프레임에서 깊이 정보를 추출하고 컨트롤 네트 깊이에 연결합니다. 깊이 이미지를 비디오 프레임 수와 동일하게 반복합니다. 반복된 깊이 프레임을 Time Feature 및 Flex Mask Depth Chamber 노드에 전달합니다. Time Feature 노드는 고정된 프레임 속도로 애니메이션을 시간에 따라 안내합니다. 효과 시간을 "smooth"로 설정하고 낮은 속도 값(예: 0.1)을 선택합니다.

시간 기능은 주제의 Z-depth 축을 따라 슬라이싱을 제어합니다. Z-front 및 Z-back 평면의 시작 위치를 주제의 중간 쯤에서 액션을 시작하도록 조정합니다. "feature" 매개변수를 사용하여 두 평면을 "squeeze" 동작으로 이동하여 원하는 슬라이싱 효과를 만듭니다. 차별적 확산 효과를 강화하고 부드러운 전환을 보장하기 위해 "grow with blur" 설정을 사용하여 약간의 블러를 추가합니다.

이 단계가 끝나면 단일 이미지를 깊이 조작 및 슬라이싱 프로세스를 위한 마스크 애니메이션으로 변환하게 됩니다. 이 마스크 애니메이션은 워크플로우의 다음 단계에서 Houdini와 같은 효과를 만드는 기초가 됩니다.

Step 3: 애니메이션 생성

이 단계에서는 준비된 마스크 애니메이션과 깊이 정보를 사용하여 프레임을 생성하여 애니메이션을 생생하게 만듭니다. AnimateDiff를 위한 1.5 체크포인트와 원하는 LoRAs를 로드하여 생성된 프레임의 품질과 스타일을 향상시킵니다.

간단한 조건 설정 단계에서 생성될 마스크의 부분을 설명하는 긍정적인 프롬프트를 설정합니다. 이 프롬프트는 생성 과정을 안내하고 애니메이션 전반에 걸쳐 일관성을 유지하는 데 도움이 됩니다. 원래 주제의 깊이에 따라 ControlNet 깊이를 적용하여 생성된 프레임이 원하는 깊이 특성을 유지하도록 합니다.

더 큰 영역이 인페인팅이 필요한 경우, IP Adapter 그룹을 활성화하여 해당 영역을 더 효과적으로 처리할 수 있습니다. Differential Diffusion을 사용하여 추론을 수행하고 잠재 노이즈 마스크를 설정합니다. 원래 이미지의 32 프레임을 인코딩하고 각 프레임에 대해 노이즈로 잠재 공간을 조작하지만, 슬라이싱된 해당 흰색 영역에서만 노이즈를 추가합니다.

애니메이션의 부드러움과 유동성을 더욱 향상시키기 위해 RIFE(Real-Time Intermediate Flow Estimation) 노드를 통해 결과 프레임을 프레임 보간합니다. 이 과정은 프레임 수를 두 배로 늘려 비디오를 더 길고 부드럽게 만듭니다. 생성된 프레임 사이를 보간함으로써 RIFE는 더 매끄럽고 시각적으로 매력적인 애니메이션을 생성하는 데 도움을 줍니다.

이 단계가 끝나면 원래 이미지, 깊이 정보 및 마스크 애니메이션을 기반으로 완전한 애니메이션을 생성하게 됩니다.

Step 4: 다른 애니메이션 혼합 (선택 사항)

애니메이션을 한 단계 더 발전시키고 싶다면, 같은 과정으로 다른 프롬프트와 깊이를 재조정하여 두 가지 다른 애니메이션(예: 불과 얼음)을 생성할 수 있습니다. 이미지 간격을 다섯 부분으로 나눕니다. 첫 번째 애니메이션의 첫 25%와 두 번째 애니메이션의 나머지 25%(75%에서 100%)를 시작 및 종료 지점으로 사용합니다. 두 애니메이션의 중간 지점(25%에서 40%, 40%에서 60%, 60%에서 75%)을 혼합하여 결과 혼합이 첫 번째 애니메이션처럼 시작하고 점차 두 번째 애니메이션처럼 되는 효과를 만듭니다.