Flux & 10 In-Context LoRA Models
このFlux In-Context LoRA (IC-LoRA) ワークフローは、タスクに依存しない画像生成のための10の強力なLoRAモデルを提供し、拡散変換器を使用します。これらのモデルは、カップルプロフィールデザイン、映画のストーリーボード、フォントデザイン、ホームデコレーション、ポートレートイラストと写真撮影、PPTテンプレート、視覚効果（砂嵐とスパークラー）、ビジュアルアイデンティティデザインなど、幅広いクリエイティブなアプリケーションを網羅しています。各モデルはDiTsのインコンテキスト学習機能を活用し、効率的なタスク固有の調整には小規模なデータセットのみが必要です。ComfyUI Flux In-Context LoRA ワークフロー
- 完全に動作するワークフロー
- 欠落したノードやモデルはありません
- 手動セットアップは不要
- 魅力的なビジュアルを特徴としています
ComfyUI Flux In-Context LoRA 例
ComfyUI Flux In-Context LoRA 説明
Lianghua Huang、Wei Wang、Zhi-Fan Wu、およびTongyi Labの彼らの協力者によって開発された In-Context LoRA (IC-LoRA) プロジェクトは、拡散変換器（DiTs）を使用したタスクに依存しない画像生成への画期的なアプローチを表しています。彼らの革新的なフレームワークは、DiTsのインコンテキスト生成能力を活用し、最小限の調整と合理化されたパイプラインを導入することで、小規模なデータセットで効率的なタスク固有の調整を可能にします。彼らの作業についてもっと知り、リソースにアクセスするには、公式リポジトリを訪れてください：。
1. In-Context LoRA (IC-LoRA) について
In-Context LoRA (IC-LoRA) は、既存のテキストから画像への拡散変換器モデルが、最小限の追加トレーニングで多様な画像生成タスクを実行できるようにする強力で柔軟なフレームワークです。In-Context LoRAのキーアイデアは、これらのモデルの本質的なインコンテキスト学習能力を活用し、慎重に選ばれたトレーニングデータを提供し、シンプルで効果的な微調整アプローチを使用することです。
In-Context LoRAの仕組みを簡単に説明します:
- 画像の連結: 個々の画像を生成する代わりに、IC-LoRAは関連するアイテムのセットを1つの大きな合成物に連結します。これにより、モデルはセット全体に必要な関係性と一貫性を学ぶことができます。
- プロンプトエンジニアリング: セットのテキストプロンプトも単一のプロンプトに連結されます。このプロンプトは、セット全体の説明から始まり、各個別アイテムの具体的な詳細が続きます。このようにプロンプトを作成することで、モデルは高レベルのタスクだけでなく、低レベルの要件も理解できます。
- 低ランク適応 (LoRA): 拡散モデル全体を微調整する代わりに、計算コストがかかるため、IC-LoRAはLoRAを使用してモデルを各特定タスクに適応させます。LoRAは、補助パラメータの小セットのみをトレーニングし、元のモデルの重みを固定します。これにより、微調整プロセスがはるかに効率的になります。
- 小規模トレーニングデータセット: IC-LoRAのもう1つの重要な洞察は、インコンテキスト学習能力を引き出すために大規模なデータセットが必要ないことです。タスクごとに20〜100の高品質な画像セットだけで、印象的な結果を達成するのに十分です。これにより、データ収集と計算負担が大幅に軽減されます。
In-Context LoRAの美しさは、それがタスクに依存しないフレームワークであることです。同じアプローチは、ストーリーボード生成、フォントデザイン、製品デザイン、視覚効果など、幅広いタスクに適用できます。タスク固有のトレーニングデータを提供することで、IC-LoRAはモデルアーキテクチャ自体に変更を加えることなく、各タスクに適応できます。
2. 10 In-Context LoRAモデルとその推奨設定
| タスク | モデル | 推奨設定 | 例のプロンプト |
|---|---|---|---|
| 1. カップルプロフィールデザイン | couple-profile.safetensors | 幅: 2048, 高さ: 1024 | この2部構成の画像は、探偵の服を着た2匹の漫画の猫を描いています。[左] トレンチコートとフェドラを着た黒猫が虫眼鏡を持ち右を覗き込み、[右] ボウタイとマッチングハットを着た白猫が好奇心から眉を上げ、薄暗い背景の中で楽しいノワール風のシーンを作り出しています。 |
| 2. 映画のストーリーボード | film-storyboard.safetensors | 幅: 1024, 高さ: 1536 | [映画のシーン] 活気ある祭りで、[シーン-1] 恥ずかしがり屋の少年<レオ>が、カラフルな乗り物と笑い声に目を見張りながら、賑やかなカーニバルの端に立っている様子、[シーン-2] 友達が応援する中、彼が不本意ながら大胆なゲームに挑戦し、[シーン-3] 巨大なぬいぐるみを勝ち取ると、誇りに満ちた笑顔でそれを掲げる勝利の瞬間に至ります。 |
| 3. フォントデザイン | font-design.safetensors | 幅: 1792, 高さ: 1216 | 4つのパネル画像は、鮮やかなポップアートスタイルの遊び心のあるバブルフォントを紹介しています。[左上] は明るいピンクの「Pop Candy」を水玉模様の背景に表示し、[右上] は紫色でキャンディのイラストに囲まれた「Sweet Treat」を示します。[左下] は明るい色のミックスで「Yum!」を表示し、[右下] はストライプの背景に「Delicious」を表示し、楽しく子供向けの製品に最適です。 |
| 4. ホームデコレーション | home-decoration.safetensors | 幅: 1344, 高さ: 1728 | この4つのパネル画像は、温かい木の色調と心地よい装飾要素を持つ素朴なリビングルームを紹介しています。[左上] は本やキャンドルで満たされた木製の棚を備えた大きな石の暖炉を特徴とし、[右上] はチェック柄のブランケットがかけられたビンテージレザーのソファを示し、さまざまなテクスチャのクッションで補完されています。[左下] は、クラシックな本と湯気の立つマグカップを載せたサイドテーブルの横にある木製のアームチェアを備えたコーナーを表示し、[右下] は窓辺の座席、柔らかいファーのスロー、およびきちんと積まれた装飾用の丸太を備えた快適な読書コーナーをキャプチャしています。 |
| 5. ポートレートイラスト | portrait-illustration.safetensors | 幅: 1152, 高さ: 1088 | この2つのパネル画像は、リアルなポートレートから遊び心のあるイラストへの変革を示し、詳細と芸術的なセンスを捉えています。[左] 写真は、広い縁の帽子、流れるボヘミアンドレス、レザーのクロスボディバッグを身につけた女性が賑やかな市場に立っている様子を示し、[右] イラストパネルは、彼女のアクセサリーと特徴を誇張し、ボヘミアンドレスが鮮やかなパターンと大胆な色で描かれ、背景が抽象的な市場の屋台に簡略化され、シーンにアニメーションのような活気を与えています。 |
| 6. ポートレート写真撮影 | portrait-photography.safetensors | 幅: 1344, 高さ: 1728 | この[4つのパネル]画像は、明るくインスピレーションに満ちたスタジオで若いアーティストの創造的なプロセスを示しています。[左上] 彼女は大きなキャンバスの前に立ち、手にブラシを持ち、部分的に完成した絵に鮮やかな色を加えています。[右上] 彼女は雑然とした木製のテーブルに座り、ノートにアイデアをスケッチし、さまざまなアート用品が散らばっています。[左下] 彼女は作品を観察し、眼鏡を調整しながら思慮深く後退しています。[右下] 彼女はパレット上で直接絵の具を混ぜることで異なるテクスチャを試し、彼女の集中した表情は彼女のクラフトへの献身を示しています。 |
| 7. PPTテンプレート | ppt-templates.safetensors | 幅: 1984, 高さ: 1152 | この4つのパネル画像は、料理ワークショップ用の素朴なテーマのPowerPointテンプレートを紹介しています。[左上] は「Farm to Table Cooking」を暖かく土っぽい色調で紹介し、[右上] は「Ingredients」、「Preparation」、「Serving」などのワークショップセクションを整理しています。[左下] は季節の食材のリストを表示し、[右下] は短いプロフィールを持つシェフのプロファイルを含んでいます。 |
| 8. 砂嵐の視覚効果 | sandstorm-visual-effect.safetensors | 幅: 1408, 高さ: 1600 | [SANDSTORM-PSA] この2部構成の画像は、砂嵐の視覚効果を通じたサイクリストの変貌を示しています。[上] 上部パネルは、鮮やかなギアを着たサイクリストが晴れた空を背景にしたクリアでオープンな道路を着実にペダルを漕ぎ、焦点と決意を強調している様子を示し、[下] 下部パネルは、サイクリストが激しい砂嵐に包まれ、砂の粒子が自転車とライダーの周りで激しく渦巻き、嵐のように暗い背景に対して混乱と力を強調するシーンに変わります。 |
| 9. スパークラーの視覚効果 | sparklers-visual-effect.safetensors | 幅: 960, 高さ: 1088 | [REAL-SPARKLERS-OVERLAYS] この2部構成の画像は、スパークラーのオーバーレイによって変わる森林でのプロポーズを鮮やかに描いています。[上] 最初のパネルは、夕暮れ時の森の中で、パートナーの前にひざまずき、婚約指輪を差し出す男性を温かく自然な光で示し、[下] 2番目のパネルは、カップルの周りにハート形を形成する輝くスパークラーを導入し、その瞬間のロマンスと喜びを増幅します。 |
| 10. ビジュアルアイデンティティデザイン | visual-identity-design.safetensors | 幅: 1472, 高さ: 1024 | 2つのパネル画像は、プロデュースブランドの楽しいアイデンティティを紹介しています。左パネルには、笑顔のパイナップルのグラフィックと、ライトアクアの背景に「Fresh Tropic」というブランド名がカジュアルなフォントで表示されています。[左] 右パネルは、ブラックのパイナップルロゴを持つ再利用可能なショッピングトートにデザインを翻訳し、市場の環境で人が持っている様子を示し、ブランドの親しみやすさとエコフレンドリーな雰囲気を強調しています。 |
3. ComfyUIでFluxとIn-Context LoRAを使用する
このFluxとIn-Context LoRAワークフローは、FluxモデルとIn-Context LoRAを組み合わせて、テキストプロンプトに基づいて関連する画像のセットを生成します。ステップごとにその仕組みを説明します。
3.1. 効率的なワークフローのためのプリロードされたFluxとIn-Context LoRAモデル
私たちのプラットフォームには、Fluxモデルと10のIn-Context LoRAモデルがすでに用意されています。これにより、ワークフローが簡単になり、時間を節約できます。希望するグループを選択して作成を開始するだけです。
3.2. プリセットプロンプトに基づいた完璧なプロンプトの作成
このワークフローの最も重要な部分は、作成したい主要なアイデアを捉えるテキストの説明です。前述のリストにある各In-Context LoRAモデルのために、すでにプロンプトが書かれています。独自のプロンプトを書くときは、これらの例をガイドとして使用してください。
3.3. 解像度と寸法のカスタマイズ
ニーズに完全に合ったビジュアルを作成するには、幅と高さの設定を変更して、希望するサイズに合わせます。また、各In-Context LoRAモデルの推奨サイズを提供しているので、出発点として使用してください。
3.4. Fluxサンプラー
Fluxサンプラーノードは、Fluxサンプリングプロセスを管理し、より良い結果のために生成パラメータを最適化します。主なパラメータには以下が含まれます:
- Seed (1): シード値は、同じ設定で一貫した出力を保証します。シードを調整することで、Flux生成が多様な結果を生み出すことができます。
- Steps (50): このパラメータは、Fluxサンプリングプロセスのステップ数を定義します。ステップ数が多いほど品質が向上しますが、処理時間が長くなります。ここでは、50ステップがバランスの取れたオプションを提供します。
- Guidance (3): ガイダンスの強度を決定します。高い値（例: 3）は、Flux生成された出力を入力プロンプトにより密接に一致させ、意図の正確な表現を保証します。
- Max Shift (null): このパラメータは、最大の変位または変換範囲を定義します。"null"設定は、デフォルトまたは無制限の範囲の使用を示します。
- Base Shift (null): 最大シフトと同様に、ベース変換の強度を調整します。"null"に設定すると、デフォルトの構成が適用されます。
- Denoise (1): Flux生成中のノイズ除去の強度を調整します。値が1の場合、軽いノイズ除去を適用し、小さな不整合を効果的に取り除きながら、明瞭さを保ちます。
FluxとIn-Context LoRAの組み合わせは、興味深い視覚コンテンツを作成する可能性を広げます。これらの新しいモデルを試して、これまでにない創造性を解き放ってください。
ライセンス
ライセンスファイルを見る:
FLUX.1 [dev] モデルは、Black Forest Labs. Inc. によってFLUX.1 [dev] 非商用ライセンスの下でライセンスされています。著作権 Black Forest Labs. Inc.
いかなる場合においても、Black Forest Labs, Inc. は、このモデルの使用に起因するいかなる請求、損害、またはその他の責任についても責任を負いません。
