深入理解 3D Gaussian Splatting (3DGS)：从原理到实践

1.1 什么是新视角合成？#

新视角合成（Novel View Synthesis, NVS） 是计算机视觉与图形学的经典任务：给定一个场景的多张已知视角图像，生成从任意新视角观察该场景的图像。

它在很多领域都有重要应用：

• VR/AR 内容生成：构建沉浸式三维场景
• 数字孪生：工业仿真、城市建模
• 影视特效：实拍场景的三维重建与编辑
• 文化遗产：文物、遗址的高保真数字化
• 自动驾驶：场景重建与仿真

过去几年，神经辐射场（NeRF） 是这个领域最耀眼的明星，但它的训练和渲染速度始终是痛点。直到 2023 年，3D Gaussian Splatting (3DGS) 横空出世，一举解决了”高质量 + 实时”这一对看似矛盾的需求。

1.2 3D Gaussian Splatting 是什么？#

3D Gaussian Splatting (3DGS) 是 Kerbl 等人在 SIGGRAPH 2023 上提出的革命性方法，论文标题为 “3D Gaussian Splatting for Real-Time Radiance Field Rendering”。

它的核心思想非常优雅：

不再用隐式的神经网络表示场景，而是用一组显式的、各向异性的 3D 高斯椭球作为基本渲染单元，并通过可微的光栅化器将它们”泼溅”到图像平面上。

这里的 Splatting（泼溅） 是关键——它指的是将 3D 的高斯椭球投影到 2D 图像平面（投影后仍是高斯分布），再进行 alpha 合成。

1.3 为什么 3DGS 能引起轰动？#

3DGS 在保持高质量重建的同时，把渲染速度提升到了实时级别，并且场景表示是显式的、可编辑的。

2.1 表示方法的演进#

在讨论 3DGS 之前，我们先回顾一下场景表示方法的演进：

2.2 高斯椭球的直观理解#

为什么是”椭球”而不是”球”？

各向异性（Anisotropy） 是关键。想象一个真实的物体表面：

• 细长的树枝：沿长度方向延伸，垂直方向较窄 → 需要细长椭球
• 平坦的墙面：几乎是一个平面 → 需要极扁的椭球（接近圆盘）
• 球形果实：各方向尺度相当 → 球形高斯即可

如果只能用球形高斯来表示这些结构，就需要数量巨大的小球，效率极低。椭球可以用更少的元素表达更丰富的几何形状，这是 3DGS 高效性的基础。

2.3 与点云的关系#

3DGS 可以看作是一种”升级版”的点云：

• 点云：每个点是一个 (x, y, z, color) 的零维样本
• 3DGS：每个”点”是一个有位置、形状（协方差矩阵）、颜色、不透明度的三维概率分布

这种”带体积”和”带朝向”的特性，使得 3DGS 既能表达几何，也能表达外观，并且渲染时不会有”空洞”。

3.1 单个高斯的参数化#

场景中第 $i$ 个高斯椭球由以下参数定义：

其中：

• $\boldsymbol{\mu}_i \in \mathbb{R}^3$：均值向量（高斯的中心位置）
• $\boldsymbol{\Sigma}_i \in \mathbb{R}^{3\times 3}$：协方差矩阵（决定椭球的形状与朝向）

为了保证协方差矩阵的半正定性（即数学上构成有效的椭球），3DGS 采用了巧妙的分解方式：

其中：

• $\mathbf{R}_i$：从四元数 $q_i$ 构造的旋转矩阵
• $\mathbf{S}_i = \text{diag}(s_{i,x}, s_{i,y}, s_{i,z})$：缩放矩阵（三个轴方向的尺度）

3.2 各向异性与各向同性#

|| 概念 | 协方差矩阵 | 视觉效果 | ||------|------------|----------| || 各向同性（Isotropic） | $\sigma^2 \mathbf{I}$（球形） | 球状云团 | || 正交各向异性（Orthotropic） | $\text{diag}(\sigma_x^2, \sigma_y^2, \sigma_z^2)$ | 沿坐标轴对齐的椭球 | || 完全各向异性（Anisotropic） | $\mathbf{R} \mathbf{S} \mathbf{S}^T \mathbf{R}^T$（任意朝向） | 任意朝向的椭球（3DGS 使用） |

3DGS 选择了完全各向异性的椭球，这让每个高斯都能精确地贴合局部几何结构。

4.1 传统光栅化与可微光栅化#

要把 3D 椭球渲染成 2D 图像，需要解决两个问题：

1. 可见性（Visibility）：从当前相机视角，哪些高斯是可见的？
2. 可微性（Differentiability）：渲染结果对每个高斯的参数都是可导的，这样才能用梯度下降优化。

3DGS 的最大贡献之一，是第一个高效的可微 3D 高斯光栅化器。

4.2 椭球的 2D 投影#

给定一个 3D 高斯椭球（$\boldsymbol{\mu}, \boldsymbol{\Sigma}$）和一个相机（投影矩阵 $\mathbf{W}$），其 2D 投影仍然是高斯分布。

具体来说，2D 投影后的协方差矩阵为：

其中：

• $\mathbf{W}$：世界到相机的变换矩阵的 $3\times 3$ 部分
• $\mathbf{J}$：相机投影函数的雅可比矩阵（Jacobian）

直观上：

3D 椭球投影到 2D 图像上仍然是椭球，只是形状和大小随视角变化（近大远小）。

4.3 分块排序（Tile-Based Rasterization）#

3DGS 的渲染器采用分块（Tile）并行策略：

1. 将屏幕划分为若干小块（如 $16 \times 16$ 像素）
2. 视锥剔除（Frustum Culling）：剔除完全不在视锥内的高斯
3. 逐高斯处理：对每个高斯，计算它覆盖哪些 tile
4. 将高斯分配到对应 tile 的列表中（同一高斯可能分配到多个 tile）
5. 对每个 tile 内部的高斯按深度排序
6. alpha 合成（Alpha Compositing）：在每个 tile 内从前向后合成像素颜色

这种策略既保证了渲染速度，又避免了对所有高斯做全局排序的代价。

4.4 Alpha 合成公式#

最终的像素颜色 $C$ 由所有覆盖该像素的高斯按从前到后的顺序合成：

其中：

• $\mathbf{c}_i$：第 $i$ 个高斯的颜色（由 SH 和视角决定）
• $\alpha_i$：该高斯对当前像素的不透明度贡献
• $T_i$：累积透射率（到第 $i$ 个高斯时，光线尚未被遮挡的比例）

注意：这里 $T_i$ 的计算必须从前往后，但 $\alpha_i$ 的梯度计算则依赖从前向后的链式求导——这与 NeRF 体渲染的”从后往前”积分有本质区别。

4.5 简化代码示意#

虽然完整的光栅化器需要数百行 CUDA 代码，但核心逻辑可简化为：

1
import torch
2

3
def render_pixel(tile_gaussians, pixel_uv):
4
    """
5
    tile_gaussians: 当前 tile 覆盖的高斯（按深度排序）
6
    pixel_uv: 目标像素坐标
7
    """
8
    color = torch.zeros(3, device=pixel_uv.device)
9
    transmittance = torch.ones(1, device=pixel_uv.device)
10

11
    for gauss in tile_gaussians:
12
        # 2D 高斯在该像素处的不透明度
13
        alpha = compute_2d_alpha(gauss, pixel_uv)
14

15
        # alpha 合成
16
        color += transmittance * alpha * gauss.color
17
        transmittance *= (1.0 - alpha)
18

19
        # 早期终止：透射率足够小
20
        if transmittance.item() < 1e-4:
21
            break
22

23
    return color

5.1 为什么需要密度控制？#

初始化时，3DGS 通常使用稀疏点云（来自 COLMAP 或随机采样）作为高斯中心。如果高斯数量太少，几何不完整；太多，又会导致冗余和浪费。3DGS 在训练过程中动态增减高斯，这是其高效性的关键之一。

5.2 克隆（Cloning / Densification）#

对于欠重建区域（几何细节缺失），即高斯的位置梯度大但形状扁平：

• 克隆：在该高斯周围复制一份，沿位置梯度方向略微移动

适合场景：欠重建的小细节（如物体的微小结构）

5.3 分裂（Splitting）#

对于过度重建区域，即一个高斯覆盖了过大的范围：

• 分裂：将一个大高斯替换为两个稍小的高斯，沿着最大缩放方向

适合场景：大而扁平的高斯需要更细粒度的表达

5.4 周期性修剪（Periodic Pruning）#

每经过若干次迭代，还需要做剪枝：

• 删除不透明度极低的高斯（透明，几乎不可见）
• 删除在训练视角下体积过大的高斯（通常是漂浮物）

5.5 密度控制伪代码#

1
def adaptive_density_control(gaussians, optimizers, viewspace_grad, t):
2
    if t % 1000 != 0:
3
        return gaussians
4

5
    # 提取平均位置梯度
6
    avg_grad = viewspace_grad.norm(dim=-1).mean(dim=0)  # (N,)
7

8
    # 判断需要克隆还是分裂
9
    mask_clone = (avg_grad > GRAD_THRESH) & (gaussians.scale.max(dim=1) < SCALE_THRESH)
10
    mask_split = (avg_grad > GRAD_THRESH) & (gaussians.scale.max(dim=1) >= SCALE_THRESH)
11

12
    # 克隆
13
    gaussians.clone(mask_clone)
14
    # 分裂
15
    gaussians.split(mask_split)
16
    # 剪枝
17
    gaussians.prune(opacity < 0.005)
18

19
    # 重置优化器状态
20
    reset_optimizer(optimizers, gaussians)
21
    return gaussians

6.1 整体流程图#

3DGS 的训练过程是一个迭代优化：

1
输入图像 + COLMAP 标定
2
        ↓
3
   初始化点云 → 初始化高斯椭球
4
        ↓
5
   ┌────────────────────────────┐
6
   │  迭代优化 (30000 次)        │
7
   │  ├─ 渲染当前视角            │
8
   │  ├─ 计算损失 L1 + SSIM     │
9
   │  ├─ 反向传播                │
10
   │  ├─ Adam 优化器更新参数     │
11
   │  └─ 周期性自适应密度控制    │
12
   └────────────────────────────┘
13
        ↓
14
   输出: 优化后的高斯集合 + 球谐系数
15
        ↓
16
   实时渲染（1080p @ 30+ FPS）

6.2 损失函数#

3DGS 使用一个组合损失：

其中：

• $\mathcal{L}_1 = \| I_{\text{rendered}} - I_{\text{gt}} \|_1$：像素级 L1 损失
• $\mathcal{L}_{\text{SSIM}}$：结构相似性损失（SSIM）
• $\lambda$：通常设为 0.2

SSIM 损失 让 3DGS 在保持锐利边缘的同时，获得更好的整体结构相似性。如果只用 L1，结果会偏模糊。

6.3 优化器与学习率#

3DGS 使用 Adam 优化器，但不同参数有不同的学习率：

渐进式球谐阶数提升 是个精妙的设计：先用低阶（漫反射）稳定几何，再逐渐引入高阶（视角相关效果），避免训练早期因高阶球谐不稳定而导致的退化。

6.4 典型训练时间#

3DGS 在一张 RTX 4090 上即可训练大多数场景，是 NeRF 难以想象的便利。

7.1 环境准备#

1
pip install gsplat torch torchvision
2
# 或
3
pip install "gsplat[all]"

7.2 核心训练代码#

1
import torch
2
from gsplat import rasterization
3
from torch import nn
4
from torch.optim import Adam
5

6
class GaussianModel(nn.Module):
7
    def __init__(self, points, colors):
8
        super().__init__()
9
        N = points.shape[0]
10
        # 位置
11
        self.means = nn.Parameter(points)
12
        # 缩放（取 log 保证正值）
13
        self.scales = nn.Parameter(torch.full((N, 3), -3.0))
14
        # 旋转（四元数）
15
        self.quats = nn.Parameter(torch.zeros(N, 4))
16
        self.quats.data[:, 0] = 1.0  # 初始化为单位四元数
17
        # 不透明度（取 logit）
18
        self.opacities = nn.Parameter(torch.full((N,), 0.5).logit())
19
        # 球谐系数（这里只用 0 阶，即 DC 颜色）
20
        self.colors = nn.Parameter(colors)
21

22
    def forward(self, camera):
23
        # 调用可微光栅化器
24
        out_img, out_alpha, _ = rasterization(
25
            means=self.means,
26
            quats=self.quats,
27
            scales=torch.exp(self.scales),
28
            opacities=torch.sigmoid(self.opacities),
29
            colors=self.colors,
30
            viewmats=camera.viewmat,
31
            Ks=camera.K,
32
            width=camera.W,
33
            height=camera.H,
34
        )
35
        return out_img

7.3 训练循环#

1
import torch.nn.functional as F
2
from torchmetrics.image import StructuralSimilarityIndexMeasure
3

4
ssim = StructuralSimilarityIndexMeasure(data_range=1.0)
5

6
def train_step(model, optimizer, view):
7
    rendered = model(view)        # (1, H, W, 3)
8
    gt = view.image.unsqueeze(0)  # (1, H, W, 3)
9

10
    l1 = F.l1_loss(rendered, gt)
11
    loss_ssim = 1 - ssim(rendered.permute(0, 3, 1, 2), gt.permute(0, 3, 1, 2))
12
    loss = 0.8 * l1 + 0.2 * loss_ssim
13

14
    optimizer.zero_grad()
15
    loss.backward()
16
    optimizer.step()
17
    return loss.item()

8.1 本质区别#

8.2 性能基准#

在 Mip-NeRF 360 基准测试上的典型结果：

3DGS 在所有指标上都优于之前的 SOTA，并且渲染速度提升了 100 倍以上。

8.3 各自的适用场景#

9.1 动态场景：4D-GS#

将时间维度引入，每个高斯带时间相关的形变场，可以重建动态场景：

代表工作：4D-GS、Deformable 3DGS、Dynamic 3D Gaussians。

9.2 大规模场景：VastGaussian#

面对城市级大场景，单卡训练困难。VastGaussian 提出分区域训练 + 全局合并策略：

1. 将场景分为多个子区域
2. 每个子区域独立训练 3DGS
3. 用”代理高斯”（progressive merging）合并子区域结果

9.3 物理仿真：PhysGaussian#

3DGS 是显式几何，可以直接用于物理仿真。PhysGaussian 实现了：

• 通过高斯密度场恢复连续体积密度 $\rho(\mathbf{x})$
• 在仿真器（如 Material Point Method, MPM）中代入 $\rho$ 进行物理求解
• 可以模拟切割、碰撞、形变等交互效果

9.4 编辑：GaussianEditor / Instruct-GS2GS#

利用 InstructPix2Pix 或 Segment Anything (SAM) 等 2D 基础模型，引导 3DGS 的局部编辑：

• 文本指令：“把这个杯子变成红色”
• 选择性替换部分高斯的颜色 / 球谐系数

9.5 压缩：LightGaussian / CompGS#

3DGS 场景文件通常较大（数百 MB 到 GB）。压缩方向：

• 剪枝冗余高斯
• 球哈系数低位量化
• 矢量量化 + 熵编码
• 网格化封装

代表方法可在保持 95%+ 质量的同时，将模型缩小 10~25 倍。

3DGS 的核心贡献#

1. 显式表示：用一组 3D 高斯椭球作为基本渲染单元，每个椭球带有位置、形状、颜色、视角相关辐射
2. 可微光栅化器：第一个支持高效反向传播的 3D 高斯光栅化器
3. 自适应密度控制：训练过程中动态增删高斯，使场景表示既紧凑又完整
4. 实时高质量：在 RTX 4090 上 1080p 实时渲染，PSNR 优于 NeRF

当前挑战#

• 场景文件较大：动辄数百 MB
• 稀疏视角不稳定：训练图像太少时容易过拟合
• 动态 / 4D 建模：仍处于早期阶段
• 编辑可控性：相比 NeRF 更可控，但工业级工具链尚不成熟

未来方向#

3D Gaussian Splatting 不仅是一项渲染技术，它正在成为新一代三维内容创作的”基础设施”——像 LLM 之于文本、Stable Diffusion 之于图像一样，重新定义我们生成、编辑、交互三维场景的方式。