深度解析 Microsoft TRELLIS：结构化潜在表示与可扩展的 3D 资产生成

1.1 从 2D 到 3D：为什么更难？#

过去几年，文本到图像 生成领域突飞猛进——DALL·E、Stable Diffusion、Midjourney 相继问世，已达到商业可用水平。但文本/图像到 3D 资产生成 却始终面临巨大挑战：

1. 数据稀缺：3D 资产远少于 2D 图像，高质量带标注的 3D 数据集极为匮乏
2. 表示多样：3D 有 Mesh、点云、体素、NeRF、3DGS 等多种表示，不同下游场景需要不同格式
3. 几何复杂性：3D 物体的拓扑结构远比 2D 图像复杂，需要同时保证几何精度和纹理质量
4. 一致性问题：多视角一致性（Multi-view Consistency）是 3D 生成的核心难题

1.2 TRELLIS 是什么？#

TRELLIS 是微软研究院在 CVPR 2025 (Spotlight) 上发表的论文 “Structured 3D Latents for Scalable and Versatile 3D Generation” 中提出的 3D 生成模型。

它的核心贡献：

提出 SLAT（Structured LATent）统一表示，用单个模型生成可解码为 Mesh、Radiance Field、3D Gaussian 三种格式的高质量 3D 资产。

TRELLIS 基于 Rectified Flow Transformer，参数规模高达 20 亿，在 50 万 3D 资产上训练，大幅超越此前所有方法。

1.3 TRELLIS 的核心亮点#

2.1 两代方法的演进#

2.2 为什么 SDS（Score Distillation Sampling）不够好？#

以 DreamFusion 为代表的第一代方法，核心是 SDS 损失：

其中 $\mathbf{g}_\theta$ 是可微 3D 渲染器（如 NeRF），$D_{\text{CLIP}}$ 是 CLIP 损失。

SDS 的三大缺陷：

1. 每样本优化慢：需在每个样本上迭代优化数十小时（无法批量生成）
2. Janus 问题：同一语义出现在多个视角（如单脸多眼）
3. 纹理过度平滑：SDS 作为”伪损失”天然偏向模糊解

2.3 格式锁死问题#

前代”重建路线”（如 One-2-3-45）虽然快，但格式锁死——一个模型只能输出一种格式。

然而实际应用中，不同下游场景需要不同格式：

• 游戏 / 影视：需要带 PBR 纹理的 Mesh
• 实时渲染：3D Gaussian（支持实时编辑）
• 神经渲染：Radiance Field（支持新视角合成）
• 物理仿真：体素或 SDF 网格

格式锁死 = 每次需求变更都要重新训练或训练多个模型，成本极高。

TRELLIS 的 SLAT 正是为了解决这个根本矛盾而设计。

3.1 SLAT 的设计哲学#

SLAT（Structured LATent Representation） 的核心洞察：

将 3D 场景的”结构”（在哪里有物体）与”外观”（长什么样）解耦。结构用稀疏体素表示，外观用局部潜在向量表示。同一套结构可挂载不同的外观解码器，从而输出不同格式。

SLAT 定义在稀疏体素网格上，只在”有物体表面”的位置存储局部潜在向量。

3.2 SLAT 的数学定义#

设 $\mathcal{V} = \{v_1, v_2, \ldots, v_M\}$ 为覆盖物体的稀疏活跃体素集合，$M \ll N_{\text{grid}}$（稀疏，远小于完整网格）。

SLAT 是一个从体素集合到局部潜在向量的映射：

其中每个局部潜在向量 $\mathbf{z}_i \in \mathbb{R}^D$（如 $D=32$ 或 $64$），它编码了该体素位置的局部几何和纹理信息。

SLAT 由两部分构成：

1. 稀疏结构 $\mathcal{V}$：哪些体素是活跃的（物体的粗略几何轮廓）
2. 局部潜在向量 $\{\mathbf{z}_i\}$：每个活跃体素的精细外观特征

3.3 为什么是稀疏体素？#

与密集体素网格（如 NeRF 的体密度场）相比，稀疏体素具有天然优势：

稀疏体素天然捕获了”物体在哪里”这一结构信息，使得生成过程可以先确定结构，再精细化外观——这正是 TRELLIS 双阶段管线的基础。

3.4 局部潜在向量的编码方式#

SLAT 的局部潜在向量 $\mathbf{z}_i$ 不是随机初始化的，而是从多视角 2D 渲染图像中提取并融合而来：

其中：

• $I_j$：从 $N_{\text{view}}$ 个已知视角渲染的图像
• $\text{Encoder}$：预训练的 2D 视觉编码器（如 DINOv2 或 CLIP 视觉编码器）
• $\text{Proj}$：将 2D 特征投影到 3D 体素位置
• $\text{Fuse}$：多视角特征融合（如平均池化或注意力融合）

这种设计让 SLAT 的潜在向量天然携带了丰富的 2D 视觉先验知识，这是其高质量纹理的关键。

3.5 SLAT 的解码灵活性#

这是 SLAT 最核心的价值——同一个 SLAT 可以被不同的解码器解读为不同的 3D 格式：

1
同一个 SLAT
2
    ├── Mesh Decoder  → 带纹理 Mesh（PBR 材质）
3
    ├── RF Decoder    → Radiance Field（可微渲染）
4
    └── GS Decoder    → 3D Gaussian Splatting（实时渲染）

解码器是任务相关的插件——可以训练多个解码器共享同一个 SLAT 隐空间，而无需重新生成 3D 资产。

4.1 为什么需要两个阶段？#

如果让模型一次性同时生成 $M$ 个活跃体素的位置和 $M$ 个局部潜在向量，搜索空间是 $O(|\mathcal{V}| \times |\mathbf{z}|)$，极其庞大且高度耦合。

两阶段设计将这个联合问题解耦为两个独立子问题：

4.2 阶段一：稀疏结构生成#

输入：文本提示 $c_{\text{text}}$ 或图像 $c_{\text{image}}$

输出：稀疏活跃体素网格 $\mathcal{V} \subset \mathbb{Z}^3$

TRELLIS 采用一个 Rectified Flow Transformer 作为阶段一的主干网络：

活跃体素的预测被建模为每体素的二元分类问题。

4.3 阶段二：局部潜在向量生成#

输入：阶段一输出的活跃体素网格 $\mathcal{V}$ + 条件（文本 / 图像）

输出：每个活跃体素 $v_i \in \mathcal{V}$ 对应的局部潜在向量 $\mathbf{z}_i$

关键设计：阶段二需要处理稀疏数据——主流 Transformer（如 ViT）处理的是规则网格，无法直接处理不规则的活跃体素集合。

TRELLIS 提出的解决方案是稀疏感知的 Rectified Flow Transformer：

1. 将活跃体素的位置编码为 $3 + 3 \times 2 \times L$ 维位置编码（与 NeRF 类似）
2. 用哈希索引高效查询每个体素对应的潜在向量
3. 在注意力机制中引入稀疏掩码，避免对空体素进行计算

4.4 双阶段管线流程图#

1
条件输入（文本 / 图像）
2
        ↓
3
  ┌─────────────────────────────┐
4
  │ 阶段一：结构生成             │
5
  │ Rectified Flow Transformer  │
6
  │ 输出：稀疏活跃体素网格 V      │
7
  └────────────┬────────────────┘
8
               ↓
9
  ┌─────────────────────────────┐
10
  │ 阶段二：潜在向量生成          │
11
  │ 稀疏感知 Transformer         │
12
  │ 输出：每个体素的局部潜在向量  │
13
  │        {z_i}                │
14
  └────────────┬────────────────┘
15
               ↓
16
  ┌─────────────────────────────┐
17
  │ SLAT = (V, {z_i})           │
18
  └────────────┬────────────────┘
19
               ↓
20
      ┌────────┴────────┐
21
      ↓                 ↓
22
  Mesh Decoder     GS Decoder    RF Decoder
23
      ↓                 ↓            ↓
24
  带纹理Mesh      3D Gaussian   Radiance Field

5.1 从扩散模型到 Rectified Flow#

传统的扩散模型（如 DDPM）通过逐步去噪生成样本：

这需要 $T=1000$ 个离散时间步来生成高质量样本。

Rectified Flow（Rectified Flow / Flow Matching） 提出了更简洁的方式：

将数据与噪声之间的变换建模为一条直线（或曲线），用神经网络学习沿这条路径的直接流动。

Rectified Flow 的 ODE（常微分方程）：

其中 $v_\theta$ 是预测的速度场（velocity field），$t \in [0, 1]$。

5.2 Rectified Flow 的优势#

5.3 TRELLIS 中的 Rectified Flow Transformer#

TRELLIS 采用的 Transformer 架构借鉴了 DiT (Diffusion Transformer) 的设计：

1
输入: SLAT 潜在向量 + 条件嵌入
2
        ↓
3
   Patchify（将隐向量分块）
4
        ↓
5
   若干 DiT Block:
6
     ├── AdaLN-Zero 条件注入
7
     ├── 自注意力（Cross-attention 条件）
8
     └── FFN
9
        ↓
10
   输出: 预测的 velocity v_θ(x_t, t)
11
        ↓
12
   Euler / Heun 积分求解 ODE
13
        ↓
14
   生成 SLAT 隐表示

与 DiT 的关键区别：

• DiT 处理的是规则的 2D patch 序列
• TRELLIS 处理的是稀疏不规则的 3D 体素序列——需要专门的位置编码和稀疏注意力

5.4 训练目标#

TRELLIS 的训练目标是最小化速度场的 MSE：

其中：

• $x_0 \sim p_{\text{data}}$：真实 SLAT
• $x_1 \sim \mathcal{N}(0, I)$：纯噪声
• $x_t = (1 - t) \cdot x_0 + t \cdot x_1$：线性插值（Rectified Flow 的直线轨迹）
• $c$：条件（文本 CLIP 嵌入 / 图像 DINOv2 嵌入）

6.1 解码器的角色#

得到 SLAT 隐表示后，TRELLIS 使用任务特定的解码器将其转换为具体的 3D 格式。

解码器不是生成模型的一部分，而是下游适配器——可以独立训练，不影响生成质量。

6.2 Mesh 解码器#

目标：从 SLAT 生成带纹理的 3D Mesh（PBR 材质）。

管线：

1. 几何提取：用 Marching Cubes 在 SDF 场（由 $\{\mathbf{z}_i\}$ 插值得到）上提取 Mesh
2. 纹理生成：将局部潜在向量 $\{\mathbf{z}_i\}$ 投影到 UV 空间，生成 UV 纹理图
3. 材质估计：额外预测法线图、粗糙度图、金属度图（PBR 材质参数）

输出：标准 OBJ/GLTF 格式，附带 PNG 纹理图，可直接导入 Blender、Unity、Unreal Engine。

6.3 Radiance Field 解码器#

目标：从 SLAT 生成 NeRF/RF 表示（支持新视角合成）。

管线：

1. 将 $\{\mathbf{z}_i\}$ 作为位置相关特征
2. 额外训练一个小型 MLP：$F_\theta: (\mathbf{x}, \mathbf{d}, \mathbf{z}(\mathbf{x})) \rightarrow (\mathbf{c}, \sigma)$
3. 用标准体渲染（与 NeRF 相同）渲染新视角

6.4 3D Gaussian 解码器#

目标：从 SLAT 生成 3D Gaussian Splatting 表示（支持实时渲染）。

管线：

1. 每个活跃体素 $v_i$ 直接映射为一个 3D 高斯椭球：

   • 位置 $\boldsymbol{\mu}_i$：体素中心
   • 协方差 $\boldsymbol{\Sigma}_i$：从 $\mathbf{z}_i$ 预测（缩放 + 旋转）
   • 颜色 $\mathbf{c}_i$：从 $\mathbf{z}_i$ 预测（球谐系数）
   • 不透明度 $\alpha_i$：从 $\mathbf{z}_i$ 预测

2. 得到的 3D 高斯集合可直接用 gsplat 渲染（1080p @ 100+ FPS）

6.5 解码器对比#

7.1 什么是局部 3D 编辑？#

大多数 3D 生成模型是”一次性”生成整个物体，无法对局部区域进行精准修改。

TRELLIS 的局部编辑允许用户：

• 选一个 3D 区域（如”杯子的把手”）
• 提供新的文本提示（如”改成金色金属材质”）或参考图像
• 只更新该区域的局部潜在向量 $\{\mathbf{z}_i\}$，其余部分保持不变

7.2 编辑管线#

1
原始 3D 资产（完整 SLAT）
2
        ↓
3
   用户选择局部区域 R ⊂ V（空间掩码）
4
        ↓
5
   冻结区域 V\R 的潜在向量 {z_i | i ∉ R}
6
        ↓
7
   对区域 R，重新执行阶段二生成（用新条件）
8
        ↓
9
   合并：V = (V\R) ∪ R，重新解码
10
        ↓
11
   输出：仅局部修改的 3D 资产

关键技术：TRELLIS 的 SLAT 隐空间是结构化的、局部可分离的——这使得局部编辑不会意外影响远处区域。

7.3 与现有编辑方法的对比#

8.1 训练数据#

TRELLIS 在 50 万 3D 资产上训练，数据来源：

• Objaverse：~80 万带标注的 3D 模型（过滤后保留高质量子集）
• GSO（Google Scanned Objects）：~1000 个高质量扫描物体
• 额外内部数据集：微软自有高质量 3D 资产生成

数据预处理：

1. 将每个 3D 资产标准化到 $[-1, 1]^3$ 的包围盒
2. 用 Blender 渲染 $N=24$ 张多视角图像（固定相机轨迹）
3. 从多视角图像提取 SLAT 表示
4. 过滤低质量资产（完整性、纹理分辨率等指标）

8.2 模型规模#

TRELLIS-large 在单节点 8 × A100 80GB 上训练约 2 周。

8.3 推理效率#

8.4 质量对比#

在 GenDream、One-2-3-45 等基准上，TRELLIS 在 FID、CLIP Score 等指标上大幅领先：

TRELLIS 是第一个在几何和纹理质量上同时达到”高”水平的方法。

9.1 技术路线对比#

9.2 核心创新总结#

TRELLIS 的核心贡献#

1. SLAT 统一表示：稀疏结构 + 局部潜在向量，捕获几何与外观的统一隐空间
2. 多格式解码：同一模型支持 Mesh、Radiance Field、3D Gaussian 三种输出
3. 双阶段 Rectified Flow：结构生成与外观生成解耦，高效且高质量
4. 局部 3D 编辑：首个支持体素级 3D 局部编辑的生成模型
5. 规模化验证：2B 参数 + 50 万数据，验证了”大力出奇迹”在 3D 生成领域的有效性

当前局限#

• 推理成本：2B 模型在消费级 GPU 上难以部署
• 精细编辑：局部编辑依赖于预定义的体素掩码，语义理解仍有限
• 动态场景：仅支持静态 3D 资产，不支持 4D（时间维度）
• 物理属性：目前只生成几何和颜色，不生成物理属性（质量、弹性等）
• 大规模场景：针对单个物体优化，城市级场景尚需分块策略

未来方向#

TRELLIS 证明了”统一表示 + 多格式解码”是 3D 生成的有效范式。 它不仅是一个高质量的 3D 资产生成器，更是一个3D 内容的”瑞士军刀”——同一个生成结果可以满足实时渲染、物理仿真、影视制作等截然不同的下游需求。随着模型压缩和硬件进化，TRELLIS 有望成为 3D 内容创作工作流中的核心基础设施。