FramePackラッパー | 効率的な長時間ビデオ生成

ComfyUI FramePackラッパーの説明

1. ComfyUI FramePackラッパーとは？

ComfyUI FramePackラッパーは、スタンフォード大学の先進的なFramePack技術をComfyUI環境に統合します。FramePackは、効率的で高品質な長時間ビデオ生成を可能にする革新的なフレームコンテキストパッキング技術に基づいています。FramePack技術を使用すると、6GBのラップトップGPUのような控えめなGPU構成でも、フル30fpsで数千のフレームを生成でき、プロフェッショナルなビデオ作成が誰でも可能になります。FramePackの独自のビデオ生成アプローチは、画像拡散のように感じられますが、優れたビデオ結果を提供します。

2. ComfyUI FramePackラッパーの利点:

• 効率的なリソース使用: FramePackは、最小限のGPUメモリ要件で小型クラウドマシン上でビデオを生成します
• O(1)計算複雑性: FramePackは、ビデオの長さに関係なく一定の処理速度を維持します
• アンチドリフト技術: FramePackは、時間の経過によるビデオ品質の低下の一般的な問題を解決します
• 長時間ビデオの一貫した品質: FramePackは、他のビデオ生成モデルによく見られる劣化なしに、30-60秒以上のビデオでも高い視覚品質を維持します
• タイムステップ蒸留なし: FramePackは、効率を維持しながら品質を保持します

3. ComfyUI FramePackラッパーの使用方法

3.1 ComfyUI FramePackによる生成方法

FramePackのセットアップ例:

1. 入力を準備:
   • Load Imageノードで、FramePackでアニメーション化される参照画像をアップロード
2. 主要なパラメータを設定:
   • FramePackSamplerでビデオの長さを設定（例: 5.0秒）
   • Video Combineでフレームレート（例: 30）と出力フォーマット（例: video/h264-mp4）を設定
3. runボタンをクリックしてFramePackワークフローを実行
4. 生成されたFramePackビデオはVideo Combineノードの設定に従って保存されます

3.2 ComfyUI FramePackのパラメータリファレンス

FramePackSamplerノード:

• steps: 拡散ステップの数（例: 30） - 高い値はより高品質を生み出しますが、FramePackでの時間がかかります
• guidance_scale: FramePackでの追加ガイダンス強度（例: 10.00） - 高い値はプロンプトにより厳密に従います
• seed: FramePackでの再現可能な結果のためのランダムシード（例: 47）
• total_second_length: FramePackで生成されるビデオの秒数（例: 5.0）
• control_after_generate: FramePackでのアンチドリフトサンプリング方法を制御（最良の結果のために"fixed"に保持）

Video Combineノード:

• frame_rate: 出力FramePackビデオのフレーム毎秒（例: 30）
• crf: 圧縮品質係数（例: 19） - 低い値はより高品質のFramePackビデオを生み出します

3.3. ComfyUI FramePackによる高度な最適化

FramePackでの長時間ビデオの生成: FramePackの主要な強みの一つは、効率的に拡張されたビデオを生成できることです。長時間ビデオを作成するには:

• FramePackSamplerノードのtotal_second_lengthパラメータを増やします（例: 5.0から10.0、30.0、または60.0+）
• control_after_generateを"fixed"に設定して、FramePackの高度なアンチドリフトサンプリング技術を活用
• 10秒以上のビデオを生成する際は、メモリ使用を管理するためにgpu_memory_preservation値をわずかに増やすことを検討
• 非常に長いビデオ（30秒以上）の場合、latent_window_sizeパラメータを減らす必要があるかもしれません
• FramePackのO(1)計算複雑性は、ビデオの長さに関係なく一貫した生成速度を保証します
• 時間的プロンプトを書きます: 長時間ビデオの場合、「徐々に」、「ゆっくり」、「それから」などの言葉を含めて、時間の流れを導くとともに、要素がどのように変化するかを説明します

ビデオ解像度の調整: 出力FramePackビデオの解像度を変更するには、ワークフロー内の"Resize Image"ノードを調整:

• widthおよびheightパラメータを変更して、希望するFramePackビデオの寸法を設定
• 最適なFramePack結果のために、寸法は8の倍数に保つことを推奨
• 注: 高解像度は、FramePackでより多くのGPUメモリと処理時間を要します
• 大きな解像度のために、FramePackでのメモリ使用をバランスするためにgpu_memory_preservationパラメータを調整する必要があります

FramePackプロンプトのヒント:

• FramePackでのモーションとトランジションについて非常に詳細に説明することで、より良い結果を得られます
• FramePackでの望ましい動きを説明する具体的な動詞を含めてください
• 最良の結果を得るために、シーンと要素がFramePackビデオでどのように動き/変化するべきかを説明してください

FramePackに関する詳細情報

FramePack技術は、従来の因果制約を破る革新的な双方向サンプリング方法を使用して、長時間ビデオでの品質低下を防ぎます。特に画像からビデオへの生成において、FramePackは「反転アンチドリフトサンプリング」を採用し、生成プロセス全体で最初のフレームを近似目標として扱い、60秒以上（1800+フレーム）でも高品質の結果を確保します。

追加の詳細とFramePackモデルのダウンロードについては:

• FramePackの元の研究はによる
• ComfyUI FramePackラッパーの実装はによる

謝辞

このワークフローは、スタンフォード大学のLvmin ZhangとManeesh Agrawalaによって開発されたFramePackによって支えられています。ComfyUI FramePackラッパーはkijaiによって提供され、FramePack技術を使用した効率的な長時間ビデオ生成を可能にするカスタマイズされたワークフローと統合を含みます。FramePackに関する画期的な研究を行った元の著者に全てのクレジットが与えられます。