什么黑魔法？无相机位姿也能SOTA：新加坡国立最新ZeroGS

自动驾驶之心 · 公众号 · · 2025-01-17 07:30

正文

NeRF和3DGS是当前重建和渲染真实图像的最前沿技术。然而使用SfM获取相机姿态的先决条件限制了它们的完整性。虽然以前的方法可以从一些未经滤波的图像中重建，但当图像无序或密集捕获时，这些方法就不适用了。基于这个出发点，新加坡国立大学等团队提出了ZeroGS，其从数百张未经处理和无序的图像中训练3DGS。ZeroGS利用了预训练的foundation model作为神经场景表示。由于预测点图的精度不足以实现精确的图像配准和高保真图像渲染，ZeroGS进一步提出从种子图像初始化和微调预训练模型来缓解这一问题。然后，图像被逐步配准并添加到训练缓冲区中，该缓冲区进一步用于训练模型。ZeroGS还提出了通过最小化跨视角的点对相机光线一致性损失来优化相机位姿和pointmaps。在LLFF数据集、MipNeRF360数据集和Tanks and Temples数据集上的实验表明，ZeroGS比最先进的无姿态NeRF/3DGS方法恢复了更精准的相机位姿，甚至比具有COLMAP姿态的3DGS渲染了更高质量的图像。

论文链接：https://arxiv.org/pdf/2411.15779
项目主页：https://aibluefisher.github.io/ZeroGS/

今天自动驾驶之心很荣幸邀请来了ZeroGS的第一作者陈煜，为大家分享这篇最新的工作。锁定自动驾驶之心！今晚七点半，直播间不见不散~

国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门 自动驾驶感知 （ 端到端自动驾驶 、 世界模型 、 仿真闭环 、 2D/3D检测、语义分割、车道线、 BEV感知、 Occupancy 、多传感器融合、多传感器标定、 目标跟踪 ）、 自动驾驶定位建图 （ SLAM 、高精地图、局部在线地图 ）、 自动驾驶规划控制/轨迹预测等领域技术方案 、 大模型 ，更有行业动态和岗位发布！欢迎扫描加入

【自动驾驶之心】技术交流群

自动驾驶之心是国内领先的技术交流平台，关注自动驾驶前沿技术与行业、职场成长等。我们成立了一系列的技术交流群，涉及： 语义分割、车道线检测、2D/3D目标跟踪、2D/3D目标检测、BEV感知 、 多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、在线地图、SLAM、 光流估计、深度估计、轨迹预测、高精地图、NeRF、Gaussian Splatting、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流 等多个方向！

备注：学校/公司+方向+昵称（快速入群方式）

什么黑魔法？无相机位姿也能SOTA：新加坡国立最新ZeroGS

正文

请到「今天看啥」查看全文