Trellis | Imagem para 3D

TRELLIS revoluciona a criação de ativos 3D ao introduzir uma abordagem inovadora que integra perfeitamente estruturas 3D esparsas com recursos visuais ricos. No coração do TRELLIS está a inovadora representação Structured LATent (SLAT), que permite gerar objetos 3D impressionantes com geometrias intrincadas e texturas vívidas, superando as capacidades dos métodos existentes. O que distingue o TRELLIS é sua versatilidade incomparável, pois suporta dinamicamente uma ampla gama de formatos de saída, incluindo Radiance Fields, 3D Gaussians e meshes. Ao aproveitar o poder dos Rectified Flow Transformers, o TRELLIS atinge precisão excepcional e oferece liberdade criativa sem igual para geração de conteúdo 3D.

1 Como Usar o Fluxo de Trabalho do TRELLIS?

Este é o fluxo de trabalho do TRELLIS, o nó do lado esquerdo é a entrada para o carregamento da imagem, o meio é o processamento dos nós do TRELLIS, e o lado direito é o nó de saída.

• Carregue sua imagem nos nós de entrada.
• Clique em Renderizar!!!

Todos os resultados (GLB, Texturas e Pré-visualizações) serão armazenados na pasta de saída do Comfyui dentro da pasta "Output_3D_Trellis".

1.1 Entrada de Imagem

• Clique e carregue sua imagem de referência para gerar o modelo 3D.

1.2 Trellis Imagem para Nó 3D

Opções de Entrada

• Model: Especifica o arquivo de modelo usado para geração de ativos 3D.
• Images: Imagens de entrada para processamento.
• Video Path: Opção para inserir um caminho de vídeo para geração 3D.
• Masks: Entrada para mascaramento de textura, rotulado como texture_image.

Configurações de Configuração

• Mode: Seleção entre diferentes modos (por exemplo, único).
• Seed: Semente de randomização para saídas determinísticas (definido para 7777).
• Control After Generate: Determina quando as ações de controle ocorrem (fixo, incremento ou aleatório).

Orientação e Amostragem

• SS Guidance Strength: Controla a força da orientação da estrutura estável (definido para 7.5).
• SS Sampling Steps: Número de etapas de amostragem para estrutura estável (definido para 12).
• SLAT Guidance Strength: Controla a força da orientação da representação SLAT (3.0).
• SLAT Sampling Steps: Número de etapas de amostragem para SLAT (12).

Opções de Malha e Textura

• Mesh Simplify: Nível de simplificação da malha (definido para 0.95).
• Texture Size: Tamanho da resolução da textura (1024).
• Texture Mode: Modo para processamento de textura (rápido).
• FPS: Quadros por segundo para renderização (15).

Opções de Saída

• Multimode: Modo de geração de saída (estocástico).
• Project Name: Nome para o projeto gerado (Output_3D_Trellis).

Opções de Salvamento

• Save GLB: Habilitado (true) para salvar em formato GLB.
• Render Video: Habilitado (true) para renderização de saída de vídeo.
• Save Gaussian: Habilitado (true) para salvar em formato Gaussian.
• Save Texture: Habilitado (true) para salvar texturas.
• Save Wireframe: Habilitado (true) para salvar visualizações de wireframe.

1.3 Modelo 3D Trellis

Os modelos serão baixados automaticamente no Runcomfy, aguarde 2-3 minutos ao baixá-los pela primeira vez.

Localização de Download dos Modelos:

ComfyUI/
└── models/
└── checkpoints/
└── TRELLIS-image-large/
├── .gitattributes
├── pipeline.json
├── README.md
└── ckpts/
├── slat_dec_gs_swin8_B_64l8gs32_fp16.json
├── slat_dec_gs_swin8_B_64l8gs32_fp16.safetensors
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.json
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.safetensors
├── slat_dec_rf_swin8_B_64l8r16_fp16.json
├── slat_dec_rf_swin8_B_64l8r16_fp16.safetensors
├── slat_enc_swin8_B_64l8_fp16.json
├── slat_enc_swin8_B_64l8_fp16.safetensors
├── slat_flow_img_dit_L_64l8p2_fp16.json
├── slat_flow_img_dit_L_64l8p2_fp16.safetensors
├── ss_dec_conv3d_16l8_fp16.json
├── ss_dec_conv3d_16l8_fp16.safetensors
├── ss_enc_conv3d_16l8_fp16.json
├── ss_enc_conv3d_16l8_fp16.safetensors
└── ss_flow_img_dit_L_16l8_fp16.json
└── ss_flow_img_dit_L_16l8_fp16.safetensors


ComfyUI\models\classifiers/
└── dinov2_vitl14_reg.pth

Link para Download dos Modelos -

• Trellis - https://huggingface.co/JeffreyXiang/TRELLIS-image-large/tree/main
• DinoV2 - https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_pretrain.pth

Trellis expande os limites da geração de ativos 3D com sua abordagem inovadora e capacidades de saída flexíveis. ao combinar a representação structured latent com rectified flow transformers, capacita os criadores a produzir conteúdo 3D de alta qualidade e versátil sem esforço. desbloqueie novas possibilidades criativas com o trellis.