Trellis | Image to 3D

TRELLISは、豊かな視覚的特徴を持つスパースな3D構造をシームレスに統合する画期的なアプローチを導入することで3Dアセットの作成を革命化します。TRELLISの中心には、革新的なStructured LATent (SLAT)表現があり、既存の方法を超えた複雑な形状と鮮やかなテクスチャを持つ見事な3Dオブジェクトを簡単に生成することができます。TRELLISを他と一線を画すのは、その比類ない多様性であり、Radiance Fields、3D Gaussians、メッシュを含む幅広い出力フォーマットを動的にサポートします。Rectified Flow Transformersの力を活用することで、TRELLISは卓越した精度を達成し、3Dコンテンツ生成に無比の創造的自由を提供します。

1 TRELLISワークフローの使用方法？

これはTRELLISワークフローです。左側のノードは画像をアップロードするための入力ノード、中央はTRELLISノードの処理、右側は出力ノードです。

• 入力ノードに画像をアップロードします。
• Renderをクリックしてください！！！

すべての出力（GLB、テクスチャ、プレビュー）はComfyuiの"Output_3D_Trellis"フォルダ内のOutputフォルダに保存されます。

1.1 画像入力

• 3Dモデル生成のための参照画像をクリックしてアップロードしてください。

1.2 Trellis Image to 3Dノード

入力オプション

• Model: 3Dアセット生成に使用されるモデルファイルを指定します。
• Images: 処理用の入力画像。
• Video Path: 3D生成のためのビデオパスの入力オプション。
• Masks: テクスチャマスキングの入力、texture_imageとしてラベル付けされています。

設定

• Mode: 異なるモード（例: single）の選択。
• Seed: 決定論的な出力のためのランダム化シード（7777に設定）。
• Control After Generate: 制御アクションが発生するタイミングを決定（fixed, increment, random）。

ガイダンスとサンプリング

• SS Guidance Strength: 安定した構造ガイダンスの強さを制御（7.5に設定）。
• SS Sampling Steps: 安定した構造のためのサンプリングステップ数（12に設定）。
• SLAT Guidance Strength: SLAT表現ガイダンスの強さを制御（3.0）。
• SLAT Sampling Steps: SLATのサンプリングステップ数（12）。

メッシュとテクスチャオプション

• Mesh Simplify: メッシュ簡素化のレベル（0.95に設定）。
• Texture Size: テクスチャ解像度サイズ（1024）。
• Texture Mode: テクスチャ処理のモード（fast）。
• FPS: レンダリングのフレーム毎秒（15）。

出力オプション

• Multimode: 出力生成モード（stochastic）。
• Project Name: 生成されたプロジェクトの名前（Output_3D_Trellis）。

保存オプション

• Save GLB: GLB形式での保存を有効化（true）。
• Render Video: ビデオ出力レンダリングを有効化（true）。
• Save Gaussian: Gaussian形式での保存を有効化（true）。
• Save Texture: テクスチャの保存を有効化（true）。
• Save Wireframe: ワイヤーフレームビューの保存を有効化（true）。

1.3 Trellis 3Dモデル

モデルはRuncomfyで自動的にダウンロードされます。初回ダウンロード時には2-3分お待ちください。

モデルのダウンロード場所:

ComfyUI/
└── models/
└── checkpoints/
└── TRELLIS-image-large/
├── .gitattributes
├── pipeline.json
├── README.md
└── ckpts/
├── slat_dec_gs_swin8_B_64l8gs32_fp16.json
├── slat_dec_gs_swin8_B_64l8gs32_fp16.safetensors
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.json
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.safetensors
├── slat_dec_rf_swin8_B_64l8r16_fp16.json
├── slat_dec_rf_swin8_B_64l8r16_fp16.safetensors
├── slat_enc_swin8_B_64l8_fp16.json
├── slat_enc_swin8_B_64l8_fp16.safetensors
├── slat_flow_img_dit_L_64l8p2_fp16.json
├── slat_flow_img_dit_L_64l8p2_fp16.safetensors
├── ss_dec_conv3d_16l8_fp16.json
├── ss_dec_conv3d_16l8_fp16.safetensors
├── ss_enc_conv3d_16l8_fp16.json
├── ss_enc_conv3d_16l8_fp16.safetensors
└── ss_flow_img_dit_L_16l8_fp16.json
└── ss_flow_img_dit_L_16l8_fp16.safetensors


ComfyUI\models\classifiers/
└── dinov2_vitl14_reg.pth

モデルのダウンロードリンク -

• Trellis - https://huggingface.co/JeffreyXiang/TRELLIS-image-large/tree/main
• DinoV2 - https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_pretrain.pth

Trellisはその革新的なアプローチと柔軟な出力機能で3dアセット生成の限界を押し広げます。構造化された潜在表現を整流フロートランスフォーマーと組み合わせることで、高品質で多様な3dコンテンツを簡単に作成できるようにします。Trellisで新しい創造的可能性を解き放ちましょう。