FLUX NF4 | FLUX ImgGenの速度向上

FLUXはによって開発された新しい画像生成モデルです。このFLUX NF4モデルはlllyasvielによって作成されました。詳細についてはをご覧ください。

FLUXについて

FLUXモデルはRunComfyにプリロードされており、flux/flux-schnellとflux/flux-devという名前で利用できます。

• RunComfy中型マシンを起動する場合: チェックポイントflux-schnell, fp8とクリップt5_xxl_fp8を選択し、メモリ不足の問題を回避します。
• RunComfy大型またはそれ以上のマシンを起動する場合: 大きなチェックポイントflux-dev, defaultと高いクリップt5_xxl_fp16を選択します。

詳細については、をご覧ください。

FLUX NF4の紹介

FLUX NF4は、Stable Diffusionワークフローでのパフォーマンス最適化を目的とした専門的なモデルチェックポイントです。著者lllyasvielによって開発されたこのモデルは、従来のFP8（Float 8-bit）モデルと比較して推論速度を大幅に向上させ、メモリ使用量を削減するNF4（Normal Float 4-bit）量子化を利用しています。FLUX NF4は、特にNVIDIA RTX 3000および4000シリーズなどの新しいGPUアーキテクチャで効率を向上させることを目的としたモデルシリーズの一部です。このモデルには、より正確なプロンプトで画像を生成するプロセスを洗練する"Distilled CFG Guidance"などの高度な機能が含まれています。RTX 4090のようなハイエンドGPUでは、通常のFLUXモデルが画像を生成するのに約50秒かかるのに対し、FLUX NF4は約13-14秒しかかかりません。これにより、最先端のハードウェアを持たないユーザーにもFLUX NF4が利用可能となります。

ComfyUI FLUX NF4の使用方法

1. モデルの読み込み: CheckpointLoaderNF4

このノードはFLUXモデル（flux/flux1-dev-bnb-nf4-v2.safetensors）を読み込みます。モデルは、生成される画像の挙動と特性を制御する基盤を提供することで、画像生成プロセス全体をガイドします。

2. ランダムノイズの生成: RandomNoise

このノードは、画像生成の初期入力として使用されるランダムノイズパターンを生成します。ノイズは、最終的な結果に変換される出発点として機能します。

3. モデルサンプリングフラックス: ModelSamplingFlux

ModelSamplingFluxノードは、解像度やその他のパラメータに基づいてモデルのサンプリング動作を調整します。これにより、変換が適用される際に画像品質が維持されるようにモデルの出力が最適化されます。サンプリング動作を調整しない場合は、このノードをバイパスできます。

4. 画像の寸法設定: PrimitiveNode（幅と高さ）

これらのノードは画像の寸法（幅と高さ）を定義し、通常は1024x1024に設定されます。指定された寸法は、生成された画像の解像度と詳細レベルに影響を与えます。

5. CLIPテキストによる条件付け: CLIPTextEncode（ポジティブおよびネガティブ）

CLIPTextEncodeノードは、テキストプロンプトを画像生成プロセスをガイドする条件データにエンコードします。ポジティブプロンプトは望ましい特徴を強化し、ネガティブプロンプトは望ましくない特徴を抑制し、出力の内容とスタイルを制御します。

6. フラックスガイダンスの適用: FluxGuidance

FluxGuidanceノードは、条件データにガイダンススケール（例：3.5）を適用します。このスケールは、テキストプロンプトが最終結果に与える影響を調整し、生成された出力の微調整を可能にします。

7. BasicSchedulerによるスケジューリング: BasicScheduler

このノードは、ノイズから最終画像への移行を制御することで画像生成プロセスのスケジューリングを管理します。スケジューリングパラメータは、画像が生成される速度と滑らかさに影響を与えます。

8. カスタムサンプリング: SamplerCustomAdvanced

この高度なサンプラーノードは、潜在画像に追加の変換を適用することで画像を精緻化します。ノイズ、ガイダー、サンプラー、シグマ、潜在画像データを統合し、高品質な出力を生成します。

9. VAEのデコード: VAEDecode

VAEDecodeノードは、潜在画像をVAE（変分オートエンコーダ）を使用して実際の視覚画像にデコードします。このステップは、抽象的な潜在空間を可視化および解釈可能な画像に変換するために重要です。

10. 画像のアップスケーリング: UpscaleModelLoaderおよびUltimateSDUpscale

UpscaleModelLoaderはアップスケーリングモデル（例：4x-UltraSharp.pth）をロードし、UltimateSDUpscaleノードはこのモデルを適用して画像解像度を向上させます。このステップにより、最終画像が高解像度でもシャープで詳細になります。

ライセンス

ライセンスファイルを表示:

FLUX.1 [dev]モデルはBlack Forest Labs. Inc.によってFLUX.1 [dev]非商用ライセンスの下でライセンスされています。著作権はBlack Forest Labs. Inc.に帰属します。

いかなる場合においても、Black Forest Labs, Inc.は、本モデルの使用に起因または関連するいかなる請求、損害またはその他の責任について、一切の責任を負わないものとします。