深度解析 Scaffold-GS：结构化 3D 高斯与视角自适应渲染

1.1 3D Gaussian Splatting 的成功与局限#

3D Gaussian Splatting（3DGS） 自 2023 年问世以来，以其卓越的渲染质量和实时速度迅速成为神经渲染领域的新标杆：

然而，3DGS 存在一个根本性缺陷：

3DGS 允许高斯”自由漂移和分裂”来拟合每个训练视角，忽视了底层场景几何结构，导致大量冗余高斯和视角变化鲁棒性差。

1.2 冗余问题的具体表现#

1.3 Scaffold-GS 的核心思想#

Scaffold-GS（CVPR 2024）的核心洞察：

用稀疏体素网格中的锚点（Anchor Points）来引导神经高斯的分布，让高斯在结构约束下自适应地响应视角变化。

与 3DGS 的核心区别：

2.1 为什么需要双层结构？#

3DGS 的问题在于”单层”——每个高斯独立存储所有属性，没有层级组织来捕捉场景结构。

Scaffold-GS 引入双层结构：

1
第一层：锚点层（Anchor Layer）
2
  └── 稀疏体素网格中的锚点
3
      ├── 位置 x_v（体素中心）
4
      ├── 局部上下文特征 f_v ∈ R^32
5
      ├── 缩放因子 l_v ∈ R^3
6
      └── k 个可学习偏移量 O_v ∈ R^(k×3)
7

8
第二层：神经高斯层（Neural Gaussian Layer）
9
  └── 从锚点"生长"出来的神经高斯
10
      ├── 位置 μ（锚点 + 偏移 × 缩放）
11
      ├── 不透明度 α（MLP 预测）
12
      ├── 颜色 c（MLP 预测）
13
      ├── 旋转 q / 四元数（MLP 预测）
14
      └── 缩放 s（MLP 预测）

2.2 整体管线流程#

1
输入：SfM 点云（COLMAP）
2
        ↓
3
  ┌─────────────────────────────┐
4
  │ Step 1: 锚点初始化           │
5
  │ SfM 点云 → 体素化 → 锚点网格  │
6
  │ 每个锚点：位置、特征、缩放、偏移 │
7
  └────────────┬────────────────┘
8
               ↓
9
  ┌─────────────────────────────┐
10
  │ Step 2: 视角裁剪             │
11
  │ 只保留视锥体内的锚点          │
12
  │ （仅激活可见锚点）            │
13
  └────────────┬────────────────┘
14
               ↓
15
  ┌─────────────────────────────┐
16
  │ Step 3: 神经高斯生成         │
17
  │ 每个锚点 → k 个神经高斯       │
18
  │ MLP 预测：α, c, q, s        │
19
  │ 输入：锚点特征 + 视角位置/方向 │
20
  └────────────┬────────────────┘
21
               ↓
22
  ┌─────────────────────────────┐
23
  │ Step 4: 不透明度过滤         │
24
  │ α < τ_α 的神经高斯被丢弃      │
25
  │ （仅保留有意义的高斯）        │
26
  └────────────┬────────────────┘
27
               ↓
28
  ┌─────────────────────────────┐
29
  │ Step 5: 瓦片光栅化渲染       │
30
  │ 与 3DGS 相同的渲染管线        │
31
  └────────────┬────────────────┘
32
               ↓
33
         新视角图像

3.1 体素化过程#

Scaffold-GS 首先将 SfM 点云 $\mathbf{P} \in \mathbb{R}^{M \times 3}$ 进行体素化：

其中 $\epsilon$ 是体素大小，$\mathbf{V} \in \mathbb{R}^{N \times 3}$ 是体素中心集合。

为什么要体素化？

3.2 锚点的属性#

每个锚点 $v \in \mathbf{V}$ 配备以下属性：

3.3 多分辨率视角自适应特征增强#

核心创新：锚点特征不是固定的，而是视角相关的。

对于每个锚点 $v$，构建特征库：

其中 $\downarrow_n$ 表示特征被下采样 $2^n$ 倍（实现：slicing 和 repeating）。

给定相机位置 $\mathbf{x}_c$ 和锚点位置 $\mathbf{x}_v$：

通过小型 MLP $F_w$ 预测权重，然后加权融合：

这一设计让锚点能够根据观察距离和方向，自适应地融合不同分辨率的特征，从而更准确地预测神经高斯属性。

4.1 神经高斯的参数化#

每个神经高斯由以下参数定义：

4.2 位置计算#

对于锚点 $\mathbf{x}_v$，其 $k$ 个神经高斯的位置为：

其中 $\{\mathcal{O}_0, \ldots, \mathcal{O}_{k-1}\} \in \mathbb{R}^{k \times 3}$ 是可学习的偏移量，$l_v$ 是该锚点的缩放因子。

4.3 属性 MLP 预测#

神经高斯的属性由对应的 MLP 在推理时动态预测：

MLP 结构（所有 MLP 一致）：

1
LINEAR(in_dim, 32) → ReLU → LINEAR(32, out_dim)

4.4 不透明度预过滤#

为提高效率，仅保留不透明度超过阈值的高斯：

这大幅减少了渲染时的计算量，使得 Scaffold-GS 能保持与 3DGS 相当的渲染速度。

5.1 为什么需要精细化？#

初始锚点由 SfM 点云体素化得到，可能存在以下问题：

Scaffold-GS 通过**生长（Growing）和修剪（Pruning）**策略解决这些问题。

5.2 生长策略：基于梯度的锚点添加#

核心思想：在高斯梯度较大的区域添加新锚点——这意味着”需要更多细节”。

步骤：

1. 将神经高斯空间量化到体素中（大小 $\epsilon_g$）
2. 对每个体素，计算 $N$ 次迭代的神经高斯平均梯度 $\nabla_g$
3. 如果 $\nabla_g > \tau_g$，在该体素中心添加新锚点

多分辨率生长：

更小的体素用于更精细的层次，更大的阈值防止过于密集。

随机消除：对候选锚点应用随机消除，防止锚点过快增长。

5.3 修剪策略：移除无效锚点#

核心思想：移除无法产生有意义神经高斯的锚点。

步骤：

1. 累积锚点的神经高斯不透明度 $\alpha_{\text{accum}}$
2. 如果 $\alpha_{\text{accum}} < 0.5$，移除该锚点

5.4 精细化管线图#

1
初始锚点（来自 SfM 体素化）
2
        ↓
3
  ┌─────────────────────────────┐
4
  │ 训练过程中                   │
5
  │ • 累积神经高斯梯度           │
6
  │ • 累积神经高斯不透明度       │
7
  └────────────┬────────────────┘
8
               ↓
9
  ┌────────────┴────────────────┐
10
  ↓                                ↓
11
Growing（梯度大）           Pruning（不透明度低）
12
  ↓                                ↓
13
添加新锚点                移除无效锚点
14
  ↓                                ↓
15
  └────────────┬────────────────┘
16
               ↓
17
        精细化后的锚点网格

6.1 总损失函数#

Scaffold-GS 的总损失函数：

6.2 体积正则化的意义#

体积正则化项定义：

其中 $\text{Prod}(\cdot)$ 是向量元素的乘积（即缩放向量 $s_i$ 的三个分量之积）。

几何意义：鼓励神经高斯小而紧凑，减少不必要的重叠：

• 大的 $s_i$ → 大的 $\text{Prod}(s_i)$ → 大的损失
• 重叠的高斯 → 冗余渲染 → 大的 $\text{Prod}$ 惩罚

6.3 可学习参数#

Scaffold-GS 的可学习参数：

关键：MLP 权重是场景无关的，同一个 MLP 可以用于所有场景。大幅减少了每个场景的存储需求。

7.1 渲染质量对比#

Mip-NeRF360 数据集：

Tanks & Temples 数据集：

Deep Blending 数据集：

7.2 效率对比#

渲染速度与存储压缩：

Scaffold-GS 在渲染速度相当的情况下，实现了 4~10 倍的存储压缩！

7.3 复杂场景的鲁棒性#

Scaffold-GS 在以下挑战场景中表现出色：

9.1 默认超参数#

9.2 MLP 结构可视化#

1
输入：\hat{f}_v (32D) + δ_vc (1D) + \vec{d}_vc (3D)
2
        ↓
3
   拼接 → 36D
4
        ↓
5
   LINEAR(36, 32) → ReLU → LINEAR(32, out_dim)
6
        ↓
7
   输出：α_i / c_i / q_i / s_i

9.3 多分辨率特征库实现#

特征库通过 Slicing 和 Repeating 实现：

1
原始特征 f_v: [f_0, f_1, f_2, ..., f_31] (32D)
2
        ↓
3
下采样 2 倍: [f_0, f_2, f_4, ..., f_30] (16D) → 补零到 32D
4
        ↓
5
下采样 4 倍: [f_0, f_4, f_8, ..., f_28] (8D) → 补零到 32D
6
        ↓
7
拼接 → [f_v, f_{v_{\downarrow_1}}, f_{v_{\downarrow_2}}]
8
        ↓
9
加权融合（MLP 预测权重）

Scaffold-GS 的核心贡献#

1. 双层层级结构：锚点引导神经高斯分布，兼顾结构约束和局部自适应
2. 视角自适应属性预测：MLP 动态解码视角相关的神经高斯属性
3. 多分辨率特征融合：锚点特征根据观察距离和方向自适应调整
4. 锚点精细化策略：基于梯度的生长和基于不透明度的修剪
5. 显著存储压缩：4~10 倍压缩比，同时保持甚至提升渲染质量

当前局限#

未来研究方向#

在 3DGS 家族中的位置#

Scaffold-GS 是 3DGS 最重要的改进之一，它引入的结构化思想影响了后续大量工作：

1
3DGS (2023)
2
    ├── Scaffold-GS (2024) ← 结构化高斯、视角自适应
3
    │       ├── 引入了"锚点"的概念
4
    │       ├── MLP 动态预测属性
5
    │       └── 生长/修剪策略
6
    ├── GaussianEditor (2024)
7
    ├── Street Gaussians (2024)
8
    ├── GES (2024)
9
    └── ... (更多后续工作)

Scaffold-GS 证明了”结构化”是 3DGS 进化的关键方向之一。 通过引入锚点层级和视角自适应机制，它不仅解决了 3DGS 的冗余问题，还为 3DGS 在大规模场景理解、局部编辑、动态场景等更广泛的应用奠定了基础。