暴虐COLMAP和MASt3R！全新开源Spars3R：稀疏3D重建SOTA！无限接近真值！

0. 论文信息

标题：SPARS3R: Semantic Prior Alignment and Regularization for Sparse 3D Reconstruction

作者：Yutao Tang, Yuxiang Guo, Deming Li, Cheng Peng

机构：Johns Hopkins University

原文链接：https://arxiv.org/abs/2411.12592

代码链接：https://github.com/snldmt/SPARS3R

1. 导读

最近在基于高斯-Splat的新视图合成中的努力可以实现照片级真实感渲染；然而，由于稀疏初始化和过度适应浮动，这种能力在稀疏视图场景中受到限制。深度估计和对准方面的最新进展可以提供具有少量视图的密集点云；然而，由此产生的姿态精度是次优的。在这项工作中，我们提出了SPARS3R，它结合了从运动结构精确估计姿态和从深度估计密集点云的优点。为此，SPARS3R首先执行全局融合对准过程，该过程基于三角对应将先前密集点云映射到来自运动结构的稀疏点云。RANSAC在此过程中用于区分内点和外点。然后，SPARS3R执行第二步，语义离群点对齐步骤，该步骤提取离群点周围的语义一致区域，并在这些区域中执行局部对齐。随着评估过程中的一些改进，我们证明了SPARS3R可以实现稀疏图像的真实感渲染，并明显优于现有的方法。

2. 引言

从非摆拍（非预设姿态）的二维图像中进行逼真的场景重建和新视角合成（Novel View Synthesis, NVS）是一项具有挑战性的任务，它在场地建模、自动驾驶、机器人技术、城市和农业规划等多个领域有着广泛的应用。神经辐射场（Neural Radiance Field, NeRF）和三维高斯溅射（3D Gaussian Splatting, 3DGS）等方法的引入，基于密集多视图影像，在渲染质量和效率方面取得了显著进步。然而，这些方法在实际应用场景中，尤其是场景无法被密集覆盖的情况下，仍然面临问题。

给定稀疏图像时，在NVS中过度拟合光度目标到错误几何体是一个常见问题。为了改进NeRF，