Blender + ComfyUI | AI 렌더링 3D 애니메이션

AI 렌더링 3D 애니메이션: Blender + ComfyUI

이 혁신적인 워크플로우는 재능 있는 Mickmumpitz에 의해 개발되었으며, Blender와 ComfyUI를 결합하여 AI로 렌더링된 놀라운 3D 애니메이션을 제작합니다. 그의 YouTube 채널에서 더 많은 영감을 얻기 위해 꼭 확인해보세요.

다음에서는 그의 접근 방식을 재현하기 위해 다양한 재료를 사용했습니다. 다음은 단계별 설명입니다:

🌟 이 링크에서 실험용 Blender 재료를 모두 다운로드하세요.

Part 1: Blender를 사용하여 3D 애니메이션 및 렌더 패스 생성

1. Blender에서 3D 장면 설정

• 캐릭터, 환경, 소품과 같은 필요한 3D 자산을 가져오거나 모델링하는 것으로 시작하세요. 이러한 자산을 장면 내에 배치하고 카메라를 위치시키며 필요한 애니메이션을 설정하세요. 기존의 재료, 텍스처 및 조명을 제거하세요, ComfyUI가 렌더링 과정에서 이를 생성할 것입니다.

2. 깊이 패스 렌더링

• 깊이 패스는 ComfyUI에서 활용될 중요한 거리 정보를 제공합니다.
• Blender에서 View Layer Properties로 이동하여 Z 패스를 활성화하고 이미지를 렌더링하세요. Compositing 탭에서 뷰어 노드를 깊이 출력에 연결하세요. Map Range 노드를 사용하여 깊이 값을 정규화하여 장면의 깊이를 나타내는 흑백 그라데이션을 만드세요.

3. 윤곽선 패스 렌더링

• 윤곽선 패스는 ComfyUI에서 사용할 객체의 모양과 실루엣을 정의하는 선 아트 엣지를 생성합니다.
• Blender에서 Freestyle 도구를 사용하여 3D 기하학을 기반으로 윤곽선을 생성하세요. 색상을 흰색으로 설정하고 선 두께를 조정하세요. 이미지를 렌더링하고 Compositing 탭에서 처리하세요.

4. 마스크 패스 렌더링

• 마스크 패스는 각기 다른 객체에 고유한 색상을 할당합니다. 이러한 색상의 Hex 코드를 기록해두세요, 이는 ComfyUI에서 특정 AI 프롬프트에 사용될 것입니다.
• Blender에서 각 객체에 단순한 방출 셰이더를 할당하여 고유한 색상을 적용하세요. 이미지를 렌더링하고 저장하세요.

이 단계에 대한 자세한 지침은 Blender에 익숙하지 않은 경우 Mickmumpitz의 YouTube 튜토리얼을 참조하세요.

Part 1을 완료하면 마스크 이미지, 깊이 이미지 및 윤곽선 이미지의 세 가지 유형의 이미지 시퀀스를 생성하게 됩니다. 이는 다음 단계에서 ComfyUI와 함께 사용됩니다.

Part 2: ComfyUI를 사용하여 AI 애니메이션 렌더링

Mickmumpitz의 ComfyUI 워크플로우는 여러 주요 구성 요소로 구성됩니다:

1. 이미지 시퀀스 로드

• 마스크 시퀀스 로드: 마스크 시퀀스를 로드한 다음 "regional conditioning by color mask" 노드를 사용하여 마스크 이미지에서 객체를 분리하세요. Step 1에서 얻은 Hex 코드를 "mask_color" 필드에 입력하세요. 이 노드는 할당된 색상을 기반으로 객체를 자동으로 분할합니다. 🌟 참고: 이 워크플로우에서 재료에 대한 특정 Hex 코드를 사용합니다. 다른 마스크 이미지를 사용하는 경우 "mask_color" 필드에 해당 Hex 코드를 입력하세요. 이렇게 하면 "regional conditioning by color mask" 노드가 객체를 올바르게 분할할 수 있습니다.
• 깊이 시퀀스 로드: 장면 내 객체의 거리에 대한 정보를 제공하기 위해 깊이 시퀀스를 로드하세요.
• 윤곽선 시퀀스 로드: 장면 내 객체의 모양과 가장자리를 정의하기 위해 윤곽선 시퀀스를 로드하세요.

🌟 경로별 이미지 시퀀스 로드 방법

시퀀스 정리

• 마스크 시퀀스를 예를 들어 {mask} 폴더에 배치하세요.
• 깊이 시퀀스를 별도의 폴더에 예를 들어 {depth}에 배치하세요.
• 윤곽선 시퀀스를 또 다른 폴더에 예를 들어 {outline}에 배치하세요.

폴더 업로드

• 파일 브라우저를 사용하여 이러한 폴더를 ComfyUI/input 디렉토리에 업로드하세요.

디렉토리 경로

• 전체 디렉토리 경로는 /home/user/ComfyUI/input/{folder_name}이어야 합니다.
• 예를 들어: /home/user/ComfyUI/input/{mask}.

2. 텍스트 프롬프트를 사용하여 시각적 효과 정의

마스크 시퀀스에 대해 각 객체에 대한 원하는 시각적 효과를 지정하는 텍스트 프롬프트를 사용하세요.

• 마스터 프롬프트: 이 프롬프트는 전체 장면의 스타일과 조명을 설정합니다. 최종 렌더링이 달성해야 하는 일반적인 분위기, 분위기 및 시각적 톤을 지시합니다.
• 지역 프롬프트: 이 프롬프트는 장면 내 특정 객체 또는 영역에 대한 자세한 설명을 제공합니다. 각 프롬프트는 고유한 객체 또는 영역에 대응해야 하며, 모든 요소가 의도한 대로 정확하게 표현되도록 보장합니다.
• 부정 프롬프트: 이 프롬프트는 렌더링에서 제외해야 할 요소를 나열합니다. 이는 최종 출력에 특정 기능이나 객체가 나타나지 않도록 하여 장면이 집중되고 원치 않는 세부 사항이 없는 상태를 유지하는 데 도움이 됩니다.

3. ControlNet 모듈

• 깊이 시퀀스를 ControlNet Depth 모델에 입력하세요.
• 윤곽선 시퀀스를 ControlNet Canny 모델에 입력하세요.

4. AnimateDiff 모듈

• 이 모듈을 사용하여 처리된 시퀀스로 부드러운 애니메이션을 렌더링하세요.

5. 선택적 IPAdapter 사용

• IPAdapter를 사용하여 추가적인 컨디셔닝 지침을 제공하여 생성된 이미지의 일관성과 품질을 향상시키세요.

Blender의 정밀한 3D 데이터를 Stable Diffusion을 통한 ComfyUI의 강력한 이미지 합성 기능과 결합하여, 완전한 창의적 제어를 통해 매우 사실적이거나 스타일화된 3D 애니메이션을 생성할 수 있습니다.