ToonCrafter | ジェネレーティブカートゥーン補間

1. ToonCrafterとは？

ToonCrafterは、事前学習された画像から動画への拡散プライアを使用して2つのカートゥーン画像間を補間する高度なAI技術です。これにより、ToonCrafterは2つの異なるカートゥーン画像から補間された動画を生成し、それらの間にシームレスなトランジションを作成します。512x320ピクセルの解像度で最大16フレームの動画生成をサポートしています。

2. ToonCrafterの動作原理

ToonCrafterは、静的なカートゥーン画像からスムーズなアニメーションを作成するために設計されたAIツールです。Latent Diffusion Models (LDMs)を使用して画像を圧縮された潜在空間にエンコードし、ノイズを加えてから段階的に除去するプロセスを通じて画像を生成します。この方法により、元の画像間の中間フレームが生成され、流れるようなアニメーションが実現されます。

ToonCrafterの注目すべき機能の一つはToon Rectification Learningです。このプロセスは、もともと実写動画で訓練されたAIモデルを適応させてカートゥーンアニメーションを理解し生成するものです。高品質なカートゥーン動画の大規模なデータセットでモデルを微調整することで、ToonCrafterはカートゥーンの独特な動きやスタイル要素（誇張された動きやシンプルなテクスチャなど）を学習します。

さらに、ToonCrafterにはDetail Injection and Propagationメカニズムも組み込まれています。これはデュアルリファレンスベースの3Dデコーダを使用して生成されたフレームの視覚的な忠実度を維持します。デコーダは入力フレームからピクセルレベルの詳細を新しいフレームに分析して注入し、元のアートワークとの一貫性を確保し、視覚的なアーティファクトを防ぎます。

また、ToonCrafterはスケッチベースのコントローラブルジェネレーションも提供しており、アニメーターが中間フレームの作成をガイドするためのスケッチを提供できます。この機能により、アーティストはアニメーションプロセスをよりコントロールでき、特定のポーズや動きを指定し、最終的なアニメーションが彼らのビジョンに合致するようにすることができます。

3. ComfyUI ToonCrafterの使用方法

ComfyUI ToonCrafter Node: 入力パラメータ

ToonCrafterノードには、補間プロセスの動作と出力を決定するいくつかの入力パラメータが必要です。以下は各パラメータの詳細な説明です。

• image: 最初の入力画像 (タイプ: IMAGE)。
• image2: 2番目の入力画像 (タイプ: IMAGE)。
• ckpt_name: 使用するチェックポイントの名前 (タイプ: STRING, オプション: 利用可能なチェックポイントのリスト)。
• prompt: 補間をガイドするテキスト記述 (タイプ: STRING、多行および動的プロンプトをサポート)。
• seed: 再現性を確保するための乱数生成シード値 (タイプ: INT, デフォルト: 123)。
• eta: 拡散プロセス中に追加されるノイズのスケールを制御するパラメータ。拡散モデルでは、最終的な画像またはフレームを生成するためにノイズが徐々に減少されます。このプロセスの各反復でどれだけのノイズが導入されるかを決定するために、eta値を調整します。(タイプ: FLOAT, デフォルト: 1.0, 範囲: 0.0から15.0, ステップ: 0.1)。
• cfg_scale: classifier-free guidance scale (タイプ: FLOAT, デフォルト: 7.5, 範囲: 1.0から15.0, ステップ: 0.5)。
• steps: 拡散ステップの数 (タイプ: INT, デフォルト: 50, 範囲: 1から60, ステップ: 1)。
• frame_count: 生成するフレームの数 (タイプ: INT, デフォルト: 10, 範囲: 5から30, ステップ: 1)。
• fps: 出力動画のフレーム毎秒 (タイプ: INT, デフォルト: 8, 範囲: 1から60, ステップ: 1)。

ComfyUI ToonCrafter Node: 出力パラメータ

ToonCrafterノードの出力は、補間されたフレームのシーケンスであり、動画を作成するために使用できます。期待できるものは次のとおりです。

• IMAGE: 補間された動画の生成されたフレーム。これらのフレームはテンソルとして返され、さらに処理されたり動画ファイルとして保存されたりします。