AnimateDiff + Batch Prompt Schedule | テキストからビデオへ

1. AnimateDiff + Batch Prompt Scheduleワークフロー

AnimateDiffとBatch Prompt Scheduleワークフローは、テキストプロンプトからビデオを動的に作成することを可能にします。Batch Prompt Scheduleは、時間の経過とともにプロンプトをスケジュールされた動的な変更を許可することで、このプロセスを強化し、アニメーションの物語と視覚要素を複雑に制御し、ストーリーテリングの創造的な可能性を広げます。

2. AnimateDiffの概要

ComfyUIでAnimateDiffを使用する方法の詳細をご確認ください。

3. Batch Prompt Scheduleの概要

3.1. Batch Prompt Scheduleの紹介

ComfyUIのBatch Prompt Scheduleは、一連のフレームまたはイテレーションにわたって複雑なプロンプトを効率的に管理およびスケジュールするように設計された強力なノードです。これにより、クリエイターはテキストとパラメータを時間の経過とともに動的に調整でき、アニメーションやその他の時間ベースのメディアプロジェクトで詳細な制御が可能になります。

3.2 Batch Prompt Scheduleの使用方法

まず、Batch Prompt Scheduleノードには、プロンプトの3つのテキストフィールド（Initial Text Field、Pretext Field、Posttext Field）があることに注意してください。

ComfyUI Batch Prompt ScheduleでInitial Text Fieldを作成するには、基本的に、スケジュール内のすべてのフレームまたはイテレーションに適用されるコアまたはベースプロンプトを定義します。これは、Pretext FieldまたはPosttext Fieldを使用して実現されます。これらのフィールドでは、それぞれスケジュールされたすべてのプロンプトの前または後にテキストを追加できます。

Initial Text Field：これは、Batch Prompt Scheduleで処理するプロンプトを入力するメインのテキスト入力です。ここにキーフレームのプロンプトを指定します。例：

"0": "大鎌を持った死神が、霧の立ち込める夜の墓地に立っている。不気味な霧、満月、コウモリが飛び回り、ハロウィンのカボチャ",
"25": "口を開けた男性ゾンビが脳を食べている。廃墟となったポストアポカリプスの都市の風景、落書きの壁、ちらつく街灯",
"50": "人狼が遠吠えをあげ、目が赤く光っている。深く不気味な森の中、明るい満月、背景には狼の群れ"

Pretext Field：スケジュール内の各プロンプトの先頭に追加されるテキストで、すべてのスケジュールされたプロンプトにわたって一貫したベースを可能にします。

Posttext Field：スケジュール内の各プロンプトの末尾に追加されるテキストで、各プロンプトの統一された結論を可能にしたり、プロンプト間で一貫した要素を追加したりできます。

さらに、プロンプトを制御するのに役立ついくつかのパラメータがあります：

Max Frames：バッチプロンプトスケジュールが適用される最大フレーム数を決定します。この数値は、バッチ内のレイテント数または生成する予定のアニメーションの合計フレーム数と一致させることが重要です。

Print Output：有効にすると、デバッグまたは検証目的で出力を印刷できるブール型パラメータです。

Start Frame：バッチプロンプトスケジュールの開始フレームを指定します。

PW Fields：これらのフィールド（pw_a、pw_b、pw_c、pw_d）は、時間の経過に伴うプロンプトウェイトの動的な調整を容易にします。式を使用してこれらのウェイトを操作し、他のスケジュールされた値にリンクすることで、クリエイターは、プロンプトのさまざまな側面がバッチスケジュールの出力にどのように影響するかを細かく制御できます。例えば、pw_a、pw_b、pw_c、pw_dをInitial Text Fieldに次のように組み込むことができます：

"0": "スポットライトの下で楽しそうに踊る踊り手、笑顔を浮かべている（幸福感：`pw_a`）",
"24": "月明かりの下で物思いにふける踊り手、思索にふける（沈思：`pw_b`）",
"48": "影の中で悲しみに暮れる人物、月明かりに涙が煌めく（悲哀：`pw_c`）"

このワークフローは、MDMZに着想を得ています。詳細については、彼のYouTubeチャンネルをご覧ください。