Trellis | 图像到3D

TRELLIS通过引入一种突破性的方法，将稀疏的3D结构与丰富的视觉特征无缝集成，彻底革新了3D资产的创建。TRELLIS的核心是创新的Structured LATent (SLAT) 表示，允许您轻松生成具有复杂几何形状和生动纹理的惊人3D对象，超越现有方法的能力。TRELLIS的独特之处在于其无与伦比的多样性，因为它动态支持包括Radiance Fields、3D Gaussians和网格在内的多种输出格式。通过利用校正流变换器的力量，TRELLIS实现了卓越的精度，并为3D内容生成提供了无与伦比的创造自由。

1 如何使用TRELLIS工作流？

这是TRELLIS工作流，左侧节点用于上传图像输入，中间是处理TRELLIS节点，右侧是输出节点。

• 在输入节点上传您的图像。
• 点击渲染！！！

所有输出（GLB、纹理和预览）将存储在Comfyui的"Output_3D_Trellis"文件夹内的输出文件夹中。

1.1 图像输入

• 点击并上传您的参考图像以生成3D模型。

1.2 Trellis图像到3D节点

输入选项

• Model: 指定用于3D资产生成的模型文件。
• Images: 输入图像进行处理。
• Video Path: 输入视频路径以进行3D生成的选项。
• Masks: 用于纹理遮罩的输入，标记为texture_image。

配置设置

• Mode: 在不同模式之间选择（例如，单一）。
• Seed: 用于确定性输出的随机种子（设置为7777）。
• Control After Generate: 确定控制动作何时发生（固定、增量或随机）。

指导和采样

• SS Guidance Strength: 控制稳定结构指导的强度（设置为7.5）。
• SS Sampling Steps: 稳定结构的采样步骤数（设置为12）。
• SLAT Guidance Strength: 控制SLAT表示指导强度（3.0）。
• SLAT Sampling Steps: SLAT的采样步骤数（12）。

网格和纹理选项

• Mesh Simplify: 网格简化的程度（设置为0.95）。
• Texture Size: 纹理分辨率大小（1024）。
• Texture Mode: 纹理处理模式（快速）。
• FPS: 渲染的每秒帧数（15）。

输出选项

• Multimode: 输出生成模式（随机）。
• Project Name: 生成项目的名称（Output_3D_Trellis）。

保存选项

• Save GLB: 启用（true）以GLB格式保存。
• Render Video: 启用（true）以视频输出渲染。
• Save Gaussian: 启用（true）以保存Gaussian格式。
• Save Texture: 启用（true）以保存纹理。
• Save Wireframe: 启用（true）以保存线框视图。

1.3 Trellis 3D模型

模型将在Runcomfy上自动下载，首次下载时请等待2-3分钟。

模型下载位置：

ComfyUI/
└── models/
└── checkpoints/
└── TRELLIS-image-large/
├── .gitattributes
├── pipeline.json
├── README.md
└── ckpts/
├── slat_dec_gs_swin8_B_64l8gs32_fp16.json
├── slat_dec_gs_swin8_B_64l8gs32_fp16.safetensors
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.json
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.safetensors
├── slat_dec_rf_swin8_B_64l8r16_fp16.json
├── slat_dec_rf_swin8_B_64l8r16_fp16.safetensors
├── slat_enc_swin8_B_64l8_fp16.json
├── slat_enc_swin8_B_64l8_fp16.safetensors
├── slat_flow_img_dit_L_64l8p2_fp16.json
├── slat_flow_img_dit_L_64l8p2_fp16.safetensors
├── ss_dec_conv3d_16l8_fp16.json
├── ss_dec_conv3d_16l8_fp16.safetensors
├── ss_enc_conv3d_16l8_fp16.json
├── ss_enc_conv3d_16l8_fp16.safetensors
└── ss_flow_img_dit_L_16l8_fp16.json
└── ss_flow_img_dit_L_16l8_fp16.safetensors


ComfyUI\models\classifiers/
└── dinov2_vitl14_reg.pth

模型下载链接 -

• Trellis - https://huggingface.co/JeffreyXiang/TRELLIS-image-large/tree/main
• DinoV2 - https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_pretrain.pth

Trellis通过其创新的方法和灵活的输出能力推动了3D资产生成的边界。通过将structured latent表示与校正流变换器结合，它赋予创作者轻松制作高质量、多样化的3D内容的能力。使用Trellis解锁新的创意可能性。