ToonCrafter | Generative Cartoon Interpolation

1. Apa itu ToonCrafter?

ToonCrafter adalah teknik AI canggih yang menginterpolasi antara dua gambar kartun menggunakan diffusion priors gambar-ke-video yang telah dilatih sebelumnya. Ini memungkinkan ToonCrafter untuk menghasilkan video interpolasi dari dua gambar kartun yang berbeda, menciptakan transisi yang mulus di antara mereka. Ini mendukung pembuatan video hingga 16 frame dengan resolusi 512x320 piksel.

2. Bagaimana cara kerja ToonCrafter?

ToonCrafter adalah alat AI yang dirancang untuk membuat animasi halus dari gambar kartun statis menggunakan teknik AI canggih. Ini menggunakan Latent Diffusion Models (LDMs) untuk mengkodekan gambar ke dalam ruang laten terkompresi, di mana noise ditambahkan dan kemudian secara bertahap dihapus melalui proses denoising. Metode ini menghasilkan frame perantara antara gambar asli, menghasilkan animasi yang lancar​.

Fitur penting dari ToonCrafter adalah Toon Rectification Learning. Proses ini mengadaptasi model AI, yang awalnya dilatih pada video live-action, untuk memahami dan menghasilkan animasi kartun. Dengan melakukan fine-tuning pada model dengan dataset besar video kartun berkualitas tinggi, ToonCrafter mempelajari elemen gerakan dan gaya unik dari kartun, seperti gerakan yang berlebihan dan tekstur yang lebih sederhana​.

ToonCrafter juga menggabungkan mekanisme Detail Injection and Propagation. Ini menggunakan decoder 3D berbasis referensi ganda untuk menjaga kesetiaan visual frame yang dihasilkan. Decoder menganalisis dan menyuntikkan detail tingkat piksel dari frame input ke frame baru, memastikan konsistensi dengan karya seni asli dan mencegah artefak visual​.

Selain itu, ToonCrafter menawarkan pembuatan yang dapat dikontrol berdasarkan sketsa, memungkinkan animator untuk menyediakan sketsa yang membimbing pembuatan frame perantara. Fitur ini memberi seniman lebih banyak kontrol atas proses animasi, memungkinkan mereka untuk menentukan pose atau gerakan tertentu dan memastikan bahwa animasi akhir sesuai dengan visi mereka​​.

3. Cara Menggunakan ComfyUI ToonCrafter

ComfyUI ToonCrafter Node: Parameter Input

Node ToonCrafter membutuhkan beberapa parameter input yang menentukan perilaku dan output dari proses interpolasi. Berikut penjelasan rinci dari setiap parameter:

• image: Gambar input pertama (type: IMAGE).
• image2: Gambar input kedua (type: IMAGE).
• ckpt_name: Nama checkpoint yang akan digunakan (type: STRING, options: list of available checkpoints).
• prompt: Deskripsi teks untuk membimbing interpolasi (type: STRING, supports multiline and dynamic prompts).
• seed: Nilai seed untuk menghasilkan angka acak untuk memastikan reprodusibilitas (type: INT, default: 123).
• eta: Parameter ini mengontrol skala noise yang ditambahkan selama proses difusi. Dalam model difusi, noise secara bertahap dikurangi untuk menghasilkan gambar atau frame akhir. Menyesuaikan nilai eta menentukan berapa banyak noise yang diperkenalkan pada setiap iterasi proses ini. (type: FLOAT, default: 1.0, range: 0.0 to 15.0, step: 0.1).
• cfg_scale: Skala panduan tanpa pengklasifikasi (type: FLOAT, default: 7.5, range: 1.0 to 15.0, step: 0.5).
• steps: Jumlah langkah difusi (type: INT, default: 50, range: 1 to 60, step: 1).
• frame_count: Jumlah frame yang akan dihasilkan (type: INT, default: 10, range: 5 to 30, step: 1).
• fps: Frame per detik untuk video output (type: INT, default: 8, range: 1 to 60, step: 1).

ComfyUI ToonCrafter Node: Parameter Output

Output dari node ToonCrafter adalah serangkaian frame interpolasi, yang dapat digunakan untuk membuat video. Berikut adalah yang dapat Anda harapkan:

• IMAGE: Frame yang dihasilkan dari video interpolasi. Frame-frame ini dikembalikan sebagai tensor dan dapat diproses lebih lanjut atau disimpan sebagai file video.