AnimateDiff + Batch Prompt Schedule | Text to Video

1. ComfyUI AnimateDiffとBatch Prompt Scheduleワークフロー

ComfyUIワークフローは、Prompt Travel (Prompt Schedule) を使用してシームレスなシーン遷移でアニメーションを作成する方法を提供します。このテクニックを使用すると、様々な段階で異なるプロンプトを指定することができ、スタイル、背景、その他のアニメーションの側面に影響を与えることができます。特定のフレームでプロンプトをスケジュールすることで、GIFやビデオ内で動的で視覚的に魅力的なトランジションや変換を簡単に作成できます。

2. AnimateDiffの概要

このページで詳細をご確認ください。

3. Batch Prompt Travel / Batch Prompt Travelの概要

3.1. Prompt Travel / Prompt Travelの紹介

Prompt Travel（またはPrompt Schedule）は、AnimateDiffを使用してアニメーションを作成する際に使用されます。この方法では、"Prompt Interpolation"を使用して、アニメーションプロセスの様々な時点で異なるプロンプトを指定し、最終的なGIFやビデオの作成において、スタイル、背景、衣装の選択など、特定の詳細を制御します。本質的に、Prompt Travelを使用すると、異なる時点で異なるプロンプトをスケジュールして、それらの間の遷移効果を自動的に追加することで、アニメーションの微調整が可能になります。これにより、アニメーションの視覚的美しさが向上します。

Prompt Travelを利用するには、アニメーションのプロンプト内で指示をフォーマットするだけです。これには、フレーム番号と、それらの特定の接合部に必要な対応するコンテンツまたはビジュアルテーマを指定することが含まれます。例えば、アニメーションがフレーム番号1の"コンテンツA"から、フレーム番号20までに"コンテンツB"に遷移するように指示できます。この機能は、動的で複雑なアニメーションの作成を容易にするだけでなく、異なるフレーム間のスムーズで自然な遷移も保証します。したがって、このComfyUIワークフローを使用すると、指定されたフレームにわたる変換を示しながら、アニメーションを一つの状態から別の状態に進化させることができます。