FLUX ControlNet Depth-V3 と Canny-V3

FLUX は  によって開発された新しい画像生成モデルです。FLUX-ControlNet-Depth および FLUX-ControlNet-Canny モデルは XLabs AI チームによって作成されました。この ComfyUI FLUX ControlNet ワークフローも XLabs AI チームによって作成されました。詳細については、 をご覧ください。すべてのクレジットは彼らの貢献に帰します。

FLUX について

FLUX モデルは RunComfy に事前にロードされており、flux/flux-schnell および flux/flux-dev という名前で利用できます。

• RunComfy 中型マシンを起動する場合: チェックポイント flux-schnell, fp8 とクリップ t5_xxl_fp8 を選択して、メモリ不足の問題を回避します。
• RunComfy 大型またはそれ以上のマシンを起動する場合: 大きなチェックポイント flux-dev, default と高いクリップ t5_xxl_fp16 を選択します。

詳細については、 をご覧ください。

🌟以下の FLUX-ControlNet ワークフローは、 モデル専用に設計されています。🌟

FLUX-ControlNet ワークフローについて (FLUX-ControlNet-Depth-V3 と FLUX-ControlNet-Canny-V3)

創造的なプロセスを強化するための独自の機能を提供する、2 つの優れた FLUX-ControlNet ワークフローを紹介します: FLUX-ControlNet-Depth と FLUX-ControlNet-Canny。

1. ComfyUI FLUX-ControlNet-Depth-V3 ワークフローの使い方

FLUX-ControlNet Depth モデルは、最初に "LoadFluxControlNet" ノードを使用してロードされます。最適な深度制御のために "flux-depth-controlnet.safetensors" モデルを選択してください。

• flux-depth-controlnet
• flux-depth-controlnet-v2
• flux-depth-controlnet-v3: ControlNet は 1024x1024 の解像度でトレーニングされており、1024x1024 の解像度で動作します。より優れたリアリスティックなバージョンです。

このノードの出力を "ApplyFluxControlNet" ノードに接続します。また、深度マップ画像をこのノードの画像入力に接続します。深度マップは、近くのオブジェクトが明るく、遠くのオブジェクトが暗いグレースケール画像である必要があり、FLUX-ControlNet が深度情報を正確に解釈できるようにします。

深度推定モデルを使用して、入力画像から深度マップを生成できます。ここでは、"MiDaS-DepthMapPreprocessor" ノードを使用して、読み込まれた画像を FLUX-ControlNet に適した深度マップに変換します。主要パラメーター:

• 閾値 = 6.28 (エッジに対する感度に影響)
• 深度スケール = 0.1 (深度マップの値がスケーリングされる量)
• 出力サイズ = 768 (深度マップの解像度)

"ApplyFluxControlNet" ノードでは、Strength パラメーターが生成された画像が FLUX-ControlNet 深度条件にどれだけ影響されるかを決定します。強度が高いほど、出力は深度構造により密接に従います。

2. ComfyUI FLUX-ControlNet-Canny-V3 ワークフローの使い方

プロセスは FLUX-ControlNet-Depth ワークフローと非常に似ています。最初に、"LoadFluxControlNet" を使用して FLUX-ControlNet Canny モデルをロードします。次に、それを "ApplyFluxControlNet" ノードに接続します。

• flux-canny-controlnet
• flux-canny-controlnet-v2
• flux-canny-controlnet-v3: ControlNet は 1024x1024 の解像度でトレーニングされており、1024x1024 の解像度で動作します。より優れたリアリスティックなバージョンです。

入力画像は、"CannyEdgePreprocessor" ノードを使用して Canny エッジマップに変換され、FLUX-ControlNet 用に最適化されます。主要パラメーター:

• 低閾値 = 100 (エッジの強度閾値)
• 高閾値 = 200 (エッジのヒステリシス閾値)
• サイズ = 832 (エッジマップの解像度)

生成された Canny エッジマップを "ApplyFluxControlNet" ノードに接続します。再び、Strength パラメーターを使用して、エッジマップが FLUX-ControlNet 生成にどれだけ影響を与えるかを制御します。

3. ComfyUI FLUX-ControlNet-Depth-V3 と ComfyUI FLUX-ControlNet-Canny-V3 の両方に共通

両方の FLUX-ControlNet ワークフローでは、CLIP エンコードされたテキストプロンプトが画像の内容を駆動し、FLUX-ControlNet 条件が深度またはエッジマップに基づいて構造とジオメトリを制御します。

異なる FLUX-ControlNets、深度やエッジなどの入力モダリティを組み合わせ、それらの強度を調整することで、FLUX-ControlNet によって生成される画像の意味的な内容と構造を細かく制御することができます。

ライセンス: controlnet.safetensors は  非商用ライセンスの下にあります。

ライセンス

ライセンスファイルを表示:

FLUX.1 [dev] モデルは Black Forest Labs. Inc. によって FLUX.1 [dev] 非商用ライセンスの下でライセンスされています。著作権 Black Forest Labs. Inc.

いかなる場合においても、Black Forest Labs, Inc. は、このモデルの使用に起因または関連する契約、不法行為、その他の行為によるいかなる請求、損害、またはその他の責任についても責任を負いません。