Era3D | ComfyUI 3D Pack

このガイドは、"Era3D"モデルを使用して3Dコンテンツを作成するための包括的な紹介を提供し、ワークフローを効率化し出力品質を向上させるための"ComfyUI 3D Pack"ノードの高度な機能を利用します。

パート1: ComfyUI 3D Pack

1.1. ComfyUI 3D Packの紹介

ComfyUI 3D Packは、最新のアルゴリズムとモデルを使用して、Mesh & UV Textureなどの3D入力を処理できるようにする広範なノードスイートです。3DGS (Gaussian Splatting) やNeRF (Neural Radiance Fields) のような高度な3D処理アルゴリズムと、Hunyuan3D、StableFast3D、InstantMesh、CRM、TripoSRなどの最先端モデルを統合しています。

ComfyUI 3D Packを使用すると、ユーザーは直感的なComfyUIインターフェース内で、既存の3Dモデルの簡単な統合を可能にするOBJ、PLY、GLBなどの幅広い3Dファイル形式をサポートし、高品質の3Dコンテンツをインポート、操作、生成できます。このパックには、3Dジオメトリを編集、クリーンアップ、最適化するための強力なメッシュ処理ユーティリティも含まれています。

重要なハイライトの1つは、2D画像からフォトリアリスティックな3D再構築を可能にするNeRF技術の統合です。3DGSノードは、点群レンダリングとスタイリングを可能にします。InstantMeshとTripoSRモデルは、3Dメッシュの高解像度アップスケーリングと超解像を可能にします。CRM (Convolutional Reconstruction Model) は、マルチビュー画像からの3D形状の回復とCCM (Color Correction Map) を可能にします。

ComfyUI 3D Packはによって開発されており、すべてのクレジットはMrForExampleに帰属します。詳細情報については、をご覧ください。

1.2. ComfyUI 3D Pack: RunComfyで実行可能

現在、ComfyUI 3D Packは完全にセットアップされ、RunComfyウェブサイト上で使用可能です。ユーザーは追加のソフトウェアや依存関係をインストールする必要はありません。必要なすべてのモデル、アルゴリズム、ツールが事前に構成され、ウェブベースのComfyUI環境で効率的に動作するように最適化されています。

パート2: ComfyUI 3D PackノードでEra3Dモデルを使用する

2.1. Era3Dとは何か？

Era3Dは、単一の入力画像から高品質で高解像度のマルチビュー画像を生成する最先端のマルチビュー拡散法です。一貫性のないカメラの事前情報、非効率的なマルチビューアテンション、低出力解像度など、既存のマルチビュー生成方法のいくつかの制限に対処します。Era3Dは、ベースラインメソッドに比べて優れた3D再構築品質を達成します。

Era3Dは、HKUST、HKU、DreamTech、PKU、LightIllusionの研究者チームによって開発されました。すべてのクレジットは、マルチビュー拡散と3D再構築の分野での彼らの貢献と進歩に帰属します。詳細情報については、をご覧ください。

2.2. Era3Dの背後にある技術

1. 拡散ベースのカメラ予測モジュール: Era3Dは入力画像の焦点距離と仰角を推定し、異なる内部パラメータを持つカメラで撮影された場合でも形状歪みのない画像を生成できます。
2. 行単位のマルチビューアテンション: Era3Dは、マルチビュー拡散プロセスにおいてエピポーラ事前情報を強制する効率的なアテンション層を導入します。標準的なカメラ設定で画像行とエピポーラ線を整列させることにより、密なマルチビューアテンションに比べて計算の複雑さとメモリ消費を大幅に削減します。
3. 高解像度出力: Era3Dは、512×512の解像度でマルチビュー画像を生成でき、より詳細な3Dメッシュの再構築を可能にします。

2.3. Era3Dの利点と潜在的な限界

利点:

• 任意のカメラ内部パラメータと視点を持つ入力画像を処理
• より高速なトレーニングと推論のための効率的な行単位マルチビューアテンション
• 詳細な3D再構築のために高解像度（512×512）のマルチビュー画像を生成
• 単一ビュー3D再構築で最先端のパフォーマンスを達成

潜在的な限界:

• 生成されるビュー数が限られているため、細い構造のような複雑なジオメトリの生成が難しい
• Neural SDFを使用した再構築のため、開いた表面を持つメッシュを再構築できない

2.4. ComfyUIでEra3Dワークフローを使用する方法

ComfyUI 3D Packは、Era3Dモデルをシームレスに統合し、単一の入力画像から高品質の3Dメッシュを生成することを可能にします。ワークフローは以下のステップで構成されています:

"[Comfy3D] Load Diffusers Pipeline"ノードを使用して、事前学習済みのEra3D拡散パイプラインをロードします。

"LoadImage"ノードを使用して入力画像と対応するマスクをロードし、"InvertMask"ノードを使用してマスクを反転させ、適切な背景処理を行います。

"[Comfy3D] Era3D MVDiffusion Model"ノードを使用して、入力画像とマスクからマルチビュー画像、法線マップ、軌道カメラポーズを生成します。このノードは、事前学習済みのEra3Dモデルを利用して、高解像度で一貫性のあるマルチビュー出力を生成します。

"[Comfy3D] InstantMesh Reconstruction Model"ノードを使用して、生成されたマルチビュー画像と軌道カメラポーズから3Dメッシュを再構築します。このノードは、InstantMeshの力を活用して、高品質の3Dメッシュを作成します。必要に応じて、"[Comfy3D] Switch Mesh Axis"ノードを使用して3Dモデルの正しい配置を確保するためにメッシュの方向を調整します。

Era3DモデルとComfyUI 3D Packノードを活用することで、ユーザーは単一の入力画像から高品質の3Dメッシュを簡単に生成できます。ComfyUIへのEra3Dの統合により、単一ビュー3D再構築のための強力で効率的なワークフローが可能になります。