斯坦福大学最新！首个基于Gaussian Splatting环境表示的机器人导航和姿态估计框架

1、导读

本文提出了Splat-Nav,一个用于在Gaussian Splatting (GSplat)环境中实时、安全地导航的管道。这个管道包括一个实时的安全规划模块和一个健壮的状态估计模块。首先，作者制定了严格的碰撞约束，可以快速计算出通过地图的保证安全的多面体走廊。然后，优化一条通过这个走廊的B样条轨迹。作者还将GSplat表示解释为点云，从而开发出一个实时的、健壮的状态估计模块。这个模块使机器人能够通过RGB-D图像进行点云对齐进行全局定位，然后通过RGB图像进行图像到点云的局部定位来跟踪其在场景中的移动。所有的这些模块主要都在CPU上运行，从而释放GPU资源用于实时场景重建等任务。 在模拟和硬件环境中，作者证明了他们管道的安全性和健壮性，展示了5Hz的重新规划能力和20Hz的姿态估计能力，比基于神经辐射场（NeRF）的导航方法快一个数量级，从而实现了实时导航。

2、主要贡献

• 安全性 ：Splat-Nav利用Gaussian Splatting表示中的几何信息进行碰撞检测，可以生成安全的轨迹。相比之下，NeRF表示中的几何信息隐式表达，碰撞检测难度较大。
• 实时性 ：Splat-Nav的轨迹规划和状态估计模块主要在CPU上运行，计算效率高，能够实现实时导航。而NeRF表示需要通过神经网络渲染，计算量大，难以实现实时导航。
• 可解释性 ：Splat-Nav利用几何表示，其安全性和状态估计具有可解释性。而NeRF表示基于神经网络，其内部工作机理难以解释。
• 高效性 ：Splat-Nav利用快速碰撞检测和点云配准算法，计算效率高。相比之下，NeRF需要大量的神经网络渲染和优化计算。

3、方法

Splat-Nav系统主要由以下两个模块组成：

Splat-Plan模块 ：用于生成安全轨迹，通过快速碰撞检测和生成安全走廊来实现。
Splat-Loc模块 ：用于定位机器人，利用点云对齐和图像到点云的定位来实现。

3.1、Splat-Plan模块是如何工作的？

Splat-Plan模块的工作流程如下：

1. 利用Gaussian Splatting环境表示中的椭圆体对象，将机器人表示为一个椭圆体ER。
2. 通过快速求解两个椭圆体之间的碰撞检测公式，生成安全的多边形走廊。
3. 使用采样方法或基于曲线的方法（如RRT或B样条），在安全走廊中生成轨迹。
4. 利用最小包围椭圆体算法，减少需要测试的椭圆体数量，提高计算效率。
5. 利用支持超平面算法，从测试椭圆体中生成安全的多边形走廊。
6. 通过迭代A*算法，生成候选路径，并在路径上的点生成安全走廊。
7. 通过二次规划求解B样条曲线，生成平滑的轨迹。

总的来说，Splat-Plan模块通过利用Gaussian Splatting的几何表示，快速进行碰撞检测，生成安全走廊，并通过优化算法生成平滑的轨迹。

3.2、Splat-Loc模块是如何进行点云对齐和图像定位的？

Splat-Loc模块的工作流程如下：

1、点云对齐：

• 从RGB-D图像中生成点云。
• 从Gaussian Splatting表示中提取椭圆体中心的点云。
• 计算两个点云的FPFH描述子，并加入颜色信息，以加速点云对齐。
• 使用RANSAC算法迭代去除离群点，以确定点云之间的对应关系。
• 通过最小化两个点云的对应点之间的距离，使用Umeyama算法计算全局变换矩阵。

2、图像定位：

• 在局部邻域内渲染多个视角的2D图像。
• 使用SuperPoint算法检测关键点，并使用LightGlue进行特征匹配。
• 使用RANSAC去除离群点，确定图像和渲染图像之间的对应关系。
• 将对应关系映射到3D点云中。
• 使用PnP问题估计机器人的位姿。

Splat-Loc模块通过这些步骤实现了从无先验知识的情况下进行全局定位，并在运动过程中进行实时位姿跟踪。

4、实验结果

我们检查导航和姿态估计管道中每个组件的性能，并进行消融研究，将我们的算法与现有方法进行比较。我们在一个合成场景巨石阵和两个真实场景（从真实RGB图像训练）雕像和飞行室中评估我们提出的姿态估计器，如图3所示。

根据论文的实验结果，Splat-Nav在仿真和实际机器人上展示了以下重要性能：

• 安全规划 ：Splat-Plan安全规划模块能够在仿真环境中以5Hz的频率进行重新规划，在Flightroom实际场景中，规划出的轨迹安全可靠。
• 姿态估计 ：Splat-Loc姿态估计模块在仿真中能以20Hz的频率进行递归姿态估计，实际场景中能够快速准确估计出机器人的姿态。
• 实时性 ：Splat-Nav的规划模块和姿态估计模块的运算速度较快，可以满足实时导航的需求。
• 性能对比 ：与基于NeRF的导航方法相比，Splat-Nav的性能提升明显，可以实现更快速、更可靠的导航。
• 安全验证 ：实验结果表明，Splat-Plan生成的轨迹安全可靠，并且具有较高的实时性。

表1：splat-loc中姿态初始化模块的性能
表2：δR=20°和δt=0.1m的雕像场景中姿态估计算法的比较
表3：δR=30°和δt=0.5m的雕像场景中姿态估计算法的比较

综上所述，Splat-Nav在仿真和实际场景中展现了其安全性和实时性，验证了该导航框架的有效性。

5、结论

Splat-Nav是一个在GSplat环境表示下实现机器人安全导航和姿态估计的新框架。通过提出高效的安全碰撞检测和利用GSplat作为点云进行姿态估计，Splat-Nav实现了比基于NeRF的导航更快、更可靠的导航效果。在仿真和实际机器人上的实验验证了其安全性和实时性。因此，本文提出了首个在GSplat表示下进行导航和定位的框架，展现了该表示在机器人导航中的巨大潜力。

3D视觉精品课程：
3dcver.com

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪。

3D视觉学习圈子

3D视觉从入门到精通知识星球 、国内成立最早、6000+成员交流学习。包括： 星球视频课程近20门（价值超6000） 、 项目对接 、 3D视觉学习路线总结 、 最新顶会论文&代码 、 3D视觉行业最新模组 、 3D视觉优质源码汇总 、 书籍推荐 、 编程基础&学习工具 、 实战项目&作业 、 求职招聘&面经&面试题 等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。