Animatediff V2 & V3 | テキストからビデオへ

1. ComfyUI AnimateDiff ワークフロー

このComfyUI AnimateDiffワークフローは、AnimateDiff V3、AnimateDiff SDXL、AnimateDiff V2のバージョンにわたるAnimateDiffの高度な機能を掘り下げるために設計されています。様々なモーションやスタイルを組み込んだ幅広いアニメーションの探求を促進します。AnimateDiffでアニメーションを作成した後、2つのアプローチを使用して高解像度の結果を達成するためにLatent Upscaleが採用されます。1つ目は、ComfyUI内の従来のlatentアップスケーリングを活用し、ノイズ除去の強度やアップスケール率などを調整します。2つ目のControl Net Assisted Latent Upscaleは、ラインアートプリプロセッサと適切なcontrol netモデルを統合することにより、より正確な拡張機能を提供し、元の本質を維持しながらアートワークを大幅に改善します。

2. AnimateDiffの概要

2.1. AnimateDiffの紹介

AnimateDiffは、Stable Diffusionなどのテキスト・トゥ・イメージモデルによって生成された画像に命を吹き込むように設計された先駆的なフレームワークとして登場しました。このツールにより、ユーザーは静止画にモーションをシームレスに統合し、パーソナライズされたアニメーションビジュアルに変換できます。このフレームワークは、既存のテキスト・トゥ・イメージモデルにモーションモデリングモジュールを追加することを前提としており、現実的なモーションダイナミクスをキャプチャするためにビデオクリップでトレーニングされています。このプロセスにより、モデル固有の調整の必要性がなくなり、パーソナライズされた画像をアニメーション化するための汎用的なソリューションが提供されます。

2.2. AnimateDiffの異なるバージョン

2.2.1. AnimateDiff V3: 新しいテクノロジーでモーションを革新

AnimateDiff V3は、アニメーション技術の最新の進歩を包含する画期的なモーションモジュールを導入しています。この進化の中心にあるのは、静止ビデオフレームでトレーニングすることでモーションモジュールを準備するDomain Adapter LoRAモジュールです。この設定により、AnimateDiffはモーションの複雑さを巧みにナビゲートし、アニメーションがニュアンスに富み、柔軟であることを保証します。V3は、その前身とは異なり、すべての次元でV2を凌駕するわけではありませんが、多様なモーション機能を導入し、ユーザーのクリエイティブなツールキットを充実させます。

2.2.2. AnimateDiff SDXL: 高解像度のビデオアニメーション

高解像度のビジュアルを愛する人にとって、AnimateDiff SDXLは魅力的なオプションを提示します。このベータ版は、パーソナライズされたモデルの有無にかかわらず、さまざまなアスペクト比で高解像度のビデオ（1024x1024の解像度で16フレーム）の作成をサポートしています。ベータ版ですが、SDXLはアニメーションコンテンツの品質を向上させることを約束し、より洗練されたバージョンが間もなく予想されます。

2.2.3. AnimateDiff V2: 従来のモーションとカメラの動きコントロール

AnimateDiff V2は、解像度とバッチサイズのトレーニングを向上させることでサンプル品質を大幅に改善した基本バージョンとして位置付けられています。MotionLoRAを導入し、ズームイン/アウト、左/右パン、上/下のチルト、時計回り/反時計回りの回転など、8つの基本的なカメラの動きを制御できるようになりました。このバージョンは、ダイナミックなカメラの動きをアニメーションに取り入れたいユーザーに最適で、ドラマチックなビジュアルナラティブを作成するための堅牢なツールセットを提供します。