深度解析 DUSt3R：无需相机标定的稠密无约束立体 3D 重建

1.1 传统 MVS 管线的困境#

**多视角立体视觉（MVS）**是计算机视觉的核心里程碑之一，其目标是从多张图像中恢复场景的 3D 结构。然而，传统 MVS 管线面临一个根本性障碍：

“MVS 算法的好坏完全取决于输入图像和相机参数的质量。”

传统 MVS 管线需要一系列前置条件：

每个步骤的误差都会累积到下一步，整个系统极其脆弱。

1.2 DUSt3R 的革命性思路#

DUSt3R（CVPR 2024）的核心洞察：

与其一步步估计相机参数，不如直接让神经网络”学会”3D 重建，然后从输出中”反推”所有需要的几何量。

关键创新：将成对重建问题重新定义为点图（Pointmap）回归，彻底摆脱了对相机模型的硬约束。

1.3 DUSt3R 能做什么？#

一个模型，统一了几乎所有 3D 视觉几何任务。

2.1 什么是 Pointmap？#

Pointmap 是 DUSt3R 提出的核心 3D 表示：

一个 Pointmap $X$ 是与输入图像 $I$ 分辨率相同的稠密 3D 点场，其中每个像素 $(i, j)$ 对应一个 3D 点 $X_{i,j}$。

一对一的像素-3D 映射：

2.2 Pointmap 与传统深度图的区别#

2.3 Pointmap 的物理意义#

传统相机模型中，点图可以从深度图推导：

其中 $K$ 是相机内参矩阵。

DUSt3R 的关键洞察：不需要知道 $K$，网络直接学习这个映射，将 2D 像素坐标隐式地与 3D 几何关联起来。

2.4 双目 Pointmap 的坐标框架#

对于两视角输入 $(I^1, I^2)$，DUSt3R 输出：

重要约定：

• $X^{1,1}$：图像 $I^1$ 的点图，表达在 $I^1$ 的相机坐标系
• $X^{2,1}$：图像 $I^2$ 的点图，也表达在 $I^1$ 的相机坐标系

这意味着两个点图天然对齐，可以直接比较！

2.5 Pointmap 的坐标变换#

给定世界到相机的变换矩阵 $P_n, P_m \in \mathbb{R}^{3 \times 4}$，点图的坐标变换为：

其中 $h: (x,y,z) \rightarrow (x,y,z,1)$ 是齐次坐标映射。

3.1 架构概览#

DUSt3R 基于 CroCo（Cross-View Completion）预训练框架，采用了非对称的 Stereo Transformer 架构：

1
输入图像对 (I^1, I^2)
2
        ↓
3
  ┌─────────────────────────────────────────┐
4
  │ Siamesian ViT-L 编码器（权重共享）        │
5
  │ F^1 = Encoder(I^1), F^2 = Encoder(I^2)  │
6
  └────────────┬────────────────────────────┘
7
               ↓
8
  ┌─────────────────────────────────────────┐
9
  │ Cross-Attention Transformer 解码器        │
10
  │ B 个解码器块，交叉注意力                 │
11
  │ G^1_i = DecBlock^1_i(G^1_{i-1}, G^2_{i-1}) │
12
  │ G^2_i = DecBlock^2_i(G^2_{i-1}, G^1_{i-1}) │
13
  └────────────┬────────────────────────────┘
14
               ↓
15
  ┌────────────┴────────────────────────────┐
16
  │ 两个回归头（Linear / DPT）               │
17
  │ X^{1,1}, C^{1,1} = Head^1(G^1_0...G^1_B)  │
18
  │ X^{2,1}, C^{2,1} = Head^2(G^2_0...G^2_B)  │
19
  └─────────────────────────────────────────┘
20
               ↓
21
        输出点图 + 置信度图

3.2 编码器：ViT-Large#

采用 Vision Transformer（ViT-Large）作为编码器：

两个分支使用共享权重，确保对称性。

3.3 解码器：Cross-Attention Transformer#

解码器由 $B$ 个 transformer 块组成，每个块包含：

1. Self-Attention：同分支内 token 相互注意力
2. Cross-Attention：当前分支 token 关注另一分支 token
3. MLP：前馈网络

关键：解码过程中信息在两分支间持续流动，确保输出点图正确对齐。

3.4 回归头：Linear vs DPT#

DPT 头结构：

1
MLP 特征 → 上采样 → 跳跃连接 → 最终预测

3.5 模型变体#

4.1 3D 回归损失#

DUSt3R 的唯一训练目标是 3D 空间中的回归损失。

归一化策略：为处理预测与真实值之间的尺度不确定性：

回归损失（对有效像素 $i \in \mathcal{D}^v$）：

4.2 置信度感知损失#

核心创新：网络同时学习每个像素的置信度。

置信度加权回归损失：

其中：

• $C^{v,1}_i$：像素 $i$ 的置信度分数
• $\alpha$：控制正则化强度的超参数

置信度保证：

4.3 置信度图的作用#

置信度图 $C$ 具有以下作用：

置信度让 DUSt3R 能够自适应地处理歧义区域，无需人工标注。

5.1 像素匹配#

建立两图像间的像素对应关系，通过 3D 点图空间的最近邻搜索：

互最近邻约束：确保匹配的双向一致性。

5.2 相机内参恢复#

从点图 $X^{1,1}$ 估计相机内参（假设主点在图像中心，像素为正方形）：

其中 $i' = i - W/2, \ j' = j - H/2$。

求解：使用 Weiszfeld 算法快速迭代求解。

5.3 相对位姿估计#

方法一：Procrustes 对齐

通过最小二乘求解相对位姿 $P^* = [R^*|t^*]$：

方法二：PnP + RANSAC

更鲁棒的做法，使用 2D-3D 对应关系。

5.4 绝对位姿估计（视觉定位）#

给定查询图像 $I^Q$ 和参考图像 $I^B$：

1. 估计 $I^Q$ 的内参（从 $X^{Q,Q}$）
2. 建立 $I^Q$ 与 $I^B$ 的 2D-2D 匹配
3. 获取 2D-3D 对应关系
4. 运行 PnP-RANSAC 得到绝对位姿

6.1 为什么需要全局对齐？#

单次推理只能处理两幅图像，多视角场景需要将所有成对预测对齐到统一的坐标系。

6.2 成对图构建#

构建连接图 $\mathcal{G}(\mathcal{V}, \mathcal{E})$：

• 顶点：图像
• 边：存在视觉重叠的图像对

边筛选策略：

• 使用图像检索方法
• 或将所有图像对输入网络
• 基于平均置信度过滤低质量对

6.3 全局优化问题#

目标是恢复全局一致的点图 $\{\chi^n\}$：

约束：$\prod_e \sigma_e = 1$（防止平凡解 $\sigma = 0$）

6.4 与 Bundle Adjustment 的区别#

6.5 相机参数恢复#

若需恢复相机参数，扩展优化框架：

即可同时估计所有相机位姿 $\{P_n\}$、内参 $\{K_n\}$ 和深度图 $\{D^n\}$。

7.1 视觉定位（绝对位姿估计）#

数据集：7Scenes（室内）、Cambridge Landmarks（室外）

DUSt3R 虽未针对定位任务训练，但达到了与专用方法相当的水平。

7.2 多视角位姿估计#

数据集：CO3Dv2、RealEstate10K

DUSt3R 大幅超越所有基线方法！

7.3 单目深度估计（零样本）#

数据集：DDAD、KITTI、NYUv2

7.4 多目深度估计#

数据集：DTU、ETH3D、Tanks & Temples、ScanNet

DUSt3R 无需任何相机参数，但性能超过使用 GT 参数的传统方法！

7.5 3D 重建质量#

数据集：DTU

虽然精度略低于专用方法，但 DUSt3R 完全无需相机标定，开箱即用。

8.1 训练数据#

总计：约 850 万图像对

8.2 两阶段训练策略#

阶段 1：低分辨率（224×224）

1
- 批量大小：16
2
- 学习率：0.0001
3
- 训练轮数：100
4
- 优化器：AdamW

阶段 2：高分辨率（512 像素）

1
- 批量大小：4（梯度累积 2）
2
- 学习率：0.0001
3
- 训练轮数：100
4
- 多分辨率：[(512,384), (512,336), (512,288), (512,256), (512,160)]

8.3 CroCo 预训练的重要性#

CroCo 预训练对 DUSt3R 至关重要。

DUSt3R 的核心贡献#

1. Pointmap 表示：革命性的 3D 表示，隐式包含像素-3D 对应关系
2. 无需相机标定：首次实现完全无约束的稠密 3D 重建
3. 统一多任务：一个模型搞定几乎所有 3D 几何视觉任务
4. CroCo 预训练：充分利用跨视图补全的自监督预训练
5. 全局对齐优化：基于 3D 投影误差的快速多视角对齐

当前局限#

后续工作与衍生#

在 3D 视觉版图中的位置#

DUSt3R 代表了数据驱动几何视觉的巅峰：

1
传统几何视觉：
2
COLMAP + MVS → 需要精确标定 → 脆弱
3

4
DUSt3R 路线：
5
海量数据预训练 → 学习强几何先验 → 无需标定 → 鲁棒

DUSt3R 证明了”让神经网络学会几何”比”让神经网络遵守几何约束”更有效。 它不仅是一个优秀的 3D 重建模型，更是一个可以充当各种 3D 视觉任务基础的多功能模型。后续的 MASt3R、Po3R 等工作进一步拓展了其能力边界，推动了”3D 基础模型”（3D Foundation Model）的发展。