ToonCrafter | 생성적 만화 보간

1. ToonCrafter란?

ToonCrafter는 사전 학습된 이미지-비디오 확산 사전 학습 모델을 사용하여 두 만화 이미지 간의 보간을 수행하는 고급 AI 기술입니다. 이를 통해 ToonCrafter는 두 개의 독립된 만화 이미지에서 보간된 비디오를 생성하여 매끄러운 전환을 만듭니다. 최대 16프레임, 512x320 픽셀 해상도의 비디오 생성이 가능합니다.

2. ToonCrafter는 어떻게 작동하나요?

ToonCrafter는 고급 AI 기술을 사용하여 정적 만화 이미지에서 부드러운 애니메이션을 생성하도록 설계된 AI 도구입니다. 이는 Latent Diffusion Models (LDMs)을 사용하여 이미지를 압축된 잠재 공간으로 인코딩하고, 여기에서 노이즈를 추가한 후 점진적으로 제거하는 디노이징 과정을 통해 중간 프레임을 생성합니다. 이 방법은 원본 이미지 사이에 중간 프레임을 생성하여 유동적인 애니메이션을 만듭니다​.

ToonCrafter의 주목할 만한 특징 중 하나는 Toon Rectification Learning입니다. 이 과정은 원래 실사 비디오에 대해 학습된 AI 모델을 만화 애니메이션을 이해하고 생성할 수 있도록 조정합니다. 고품질 만화 비디오의 대규모 데이터 세트로 모델을 미세 조정함으로써 ToonCrafter는 만화의 독특한 동작과 스타일 요소, 예를 들어 과장된 움직임과 단순한 텍스처를 학습합니다​.

ToonCrafter는 또한 Detail Injection and Propagation 메커니즘을 통합합니다. 이는 이중 참조 기반 3D 디코더를 사용하여 생성된 프레임의 시각적 충실도를 유지합니다. 디코더는 입력 프레임에서 새로운 프레임으로 픽셀 수준의 세부 정보를 분석하고 주입하여 원본 아트워크와의 일관성을 보장하고 시각적 아티팩트를 방지합니다​.

추가적으로 ToonCrafter는 스케치 기반 제어 가능한 생성을 제공합니다. 이를 통해 애니메이터는 중간 프레임의 생성을 안내하는 스케치를 제공할 수 있습니다. 이 기능은 아티스트가 애니메이션 프로세스를 더 많이 제어할 수 있게 하여 특정 자세나 움직임을 지정하고 최종 애니메이션이 그들의 비전에 맞도록 보장합니다​​.

3. ComfyUI ToonCrafter 사용 방법

ComfyUI ToonCrafter Node: 입력 파라미터

ToonCrafter 노드에는 보간 과정의 동작과 출력을 결정하는 여러 입력 파라미터가 필요합니다. 각 파라미터에 대한 자세한 설명은 다음과 같습니다:

• image: 첫 번째 입력 이미지 (타입: IMAGE).
• image2: 두 번째 입력 이미지 (타입: IMAGE).
• ckpt_name: 사용할 체크포인트의 이름 (타입: STRING, 옵션: 사용 가능한 체크포인트 목록).
• prompt: 보간을 안내하는 텍스트 설명 (타입: STRING, 다중 라인 및 동적 프롬프트 지원).
• seed: 재현성을 보장하기 위한 난수 생성 시드 값 (타입: INT, 기본값: 123).
• eta: 확산 과정 동안 추가되는 노이즈의 스케일을 제어하는 파라미터. 확산 모델에서는 노이즈가 점진적으로 감소하여 최종 이미지나 프레임을 생성합니다. eta 값을 조정하면 이 과정의 각 반복에서 얼마나 많은 노이즈가 추가되는지 결정됩니다. (타입: FLOAT, 기본값: 1.0, 범위: 0.0에서 15.0, 단계: 0.1).
• cfg_scale: 클래스-프리 가이던스 스케일 (타입: FLOAT, 기본값: 7.5, 범위: 1.0에서 15.0, 단계: 0.5).
• steps: 확산 단계의 수 (타입: INT, 기본값: 50, 범위: 1에서 60, 단계: 1).
• frame_count: 생성할 프레임 수 (타입: INT, 기본값: 10, 범위: 5에서 30, 단계: 1).
• fps: 출력 비디오의 초당 프레임 수 (타입: INT, 기본값: 8, 범위: 1에서 60, 단계: 1).

ComfyUI ToonCrafter Node: 출력 파라미터

ToonCrafter 노드의 출력은 비디오를 생성하는 데 사용할 수 있는 보간된 프레임의 시퀀스입니다. 다음과 같은 출력을 기대할 수 있습니다:

• IMAGE: 보간된 비디오의 생성된 프레임. 이 프레임들은 텐서로 반환되며 추가로 처리하거나 비디오 파일로 저장할 수 있습니다.