0. 论文信息
标题：Dense-SfM: Structure from Motion with Dense Consistent Matching
作者：JongMin Lee, Sungjoo Yoo
机构：Seoul National University
原文链接：https://arxiv.org/abs/2501.14277
1. 导读
我们提出了Dense-SfM，一种新的基于运动的结构(SfM)框架，设计用于从多视图图像进行密集和精确的3D重建。传统SfM方法经常依赖的稀疏关键点匹配限制了准确性和点密度，尤其是在无纹理的区域。Dense-SfM通过将密集匹配与基于高斯分布(GS)的轨迹扩展相结合来解决这一限制，从而提供更一致、更长的特征轨迹。为了进一步提高重建精度，Dense-SfM配备了一个多视图内核化匹配模块，利用变压器和高斯过程架构，实现跨多视图的鲁棒跟踪细化。在ETH3D和纹理贫乏的SfM数据集上的评估表明，Dense-SfM在精度和密度方面比最先进的方法有显著的提高。
2. 效果展示
量化匹配和我们的匹配之间的SfM结果比较。量化可能会影响3D点的准确性和完整性。相比之下，我们的Dense-SfM管道利用高斯插值来解决这个问题，提供更准确和密集的3D点。由于密集的匹配，我们的管道也可以应用于无纹理的对象，从而进一步提高3D点的质量和姿态估计。
纹理较差的SfM数据集的定性结果。我们使用密集匹配器RoMa的方法与基线LOFTR+DFSfM进行了定性比较。红色相机是地面真实姿态，蓝色相机是恢复的姿态。
IMC数据集的定性结果。我们使用密集匹配RoMa的方法与基线LOFTR+DFSfM进行了定性比较。红色相机是地面真实姿势，蓝色相机是恢复的姿势。
3. 主要贡献
• 一种针对密集匹配器优化的新型结构从运动恢复（Structure from Motion, SfM）框架，即使在纹理缺失区域，也能重建出高精度且密集的3D模型。
• 一种基于高斯溅射（Gaussian Splatting）的轨迹扩展方法，有助于找到新的可见图像，从而增加3D点的轨迹长度。
推荐课程：
基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]
。
• 一种新的轨迹优化流程，该流程利用Transformer和高斯过程（Gaussian Process）架构来增强特征轨迹的一致性，并提升整体重建质量。
• 在不同指标上的广泛评估表明，我们的框架达到了最先进的性能水平。
4. 方法
我们的密集SfM框架的概览如图2所示。给定一个场景的N幅图像，我们的目标是估计相机姿态并重建代表该场景的3D点云。
• 我们将框架设计为三阶段流程。首先，我们使用来自双视图密集匹配器（例如，DKM和RoMa）的图像对之间的对应关系来构建初始SfM模型。接下来，我们通过将每个3D点投影到它可见的新图像上来扩展其轨迹长度，并通过高斯溅射来验证可见性。最后，我们执行迭代SfM优化，以提高姿态和点云的准确性。
5. 实验结果
6. 总结
本文介绍了一种新型密集SfM框架，旨在从一组图像中重建密集点云并估计相机姿态。与传统的SfM系统通常依赖于初始2D匹配不同，我们的框架利用高斯溅射来生成新的匹配对，从而产生更长的轨迹，显著提升重建点云的准确性和密度。在不同数据集上的广泛评估表明，我们的框架在多个指标上始终优于现有的SfM基线。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
