专栏名称: 智能车情报局

聚焦智能汽车关键技术与创新产品

超越AVPSLAM！上交提出最新泊车SLAM算法：GCSLAM

智能车情报局 · 公众号 · · 2024-10-29 15:25

正文

直播预告

10月30日14点， 黑芝麻智能嵌入式工程师李俊何、Nullmax售前产品高级经理周政将分别以 《黑芝麻智能山海工具链：深度学习模型量化与部署实战》、《全栈量产智驾应用算法在C1200家族芯片上的部署》 为主题带来直播讲解，感兴趣的朋友可以扫码报名~

文章转载自公众号：深蓝AI。本文只做学术/技术分享，如有侵权，联系删文。

摘要

本文提出了一个全局一致的语义SLAM系统（GCSLAM）和一个语义融合定位子系统（SF-Loc），在复杂的停车场环境中实现了准确的语义地图构建和稳健的定位。本文的系统采用视觉摄像头（前视和环视）、IMU和轮速编码器作为输入传感器配置。本文工作的第一部分是GCSLAM。GCSLAM引入了一个新颖的因子图来优化位姿和语义地图，该因子图结合了基于多传感器数据和鸟瞰图（BEV）语义信息的创新误差项。此外，GCSLAM还集成了一个全局车位管理模块，用于存储和管理停车位观测信息。SF-Loc是本文工作的第二部分，它利用GCSLAM构建的语义地图进行基于地图的定位。SF-Loc将匹配结果和里程计位姿与一个新颖的因子图结合起来。本文的系统在两个真实世界的数据集上展示了比现有SLAM系统更优越的性能，展现了在稳健的全局定位和精确的语义地图构建方面出色的能力。

介绍

SLAM技术在室内停车场的应用面临着几个挑战，包括GNSS信号的缺失、低成本传感器在复杂光照和重复纹理环境下的性能问题。现有的SLAM系统在处理室内停车场的复杂性时，往往因为缺乏足够的优化约束而表现不佳，尤其是在大型和复杂的停车场中，容易出现定位错误和地图构建不准确的问题。

为了解决这些问题，提出了一个名为GCSLAM的全局一致的语义SLAM系统，它通过创新的因子图和全局车位管理模块来优化位姿和语义地图。GCSLAM利用多传感器数据和鸟瞰图语义信息，设计了新的停车位关联方法和误差项，以减少误检和噪声的影响，并准确确定停车位之间的关系。

此外，GCSLAM还引入了一个全局垂直误差项来约束停车位的方向，并设计了一个全局车位管理模块来存储和更新停车位观测，以应对BEV感知模块可能引起的误检和噪声问题。

在建立了全局地图之后，为了提高定位的精度和速度，提出了一个语义融合定位子系统SF-Loc。SF-Loc结合了语义ICP匹配和里程计，通过因子图优化来实现稳健和准确的定位，即使在视觉特征稀疏的区域也能保持良好的性能。这样，GCSLAM和SF-Loc的结合不仅提高了室内停车场环境下的SLAM性能，还增强了系统的鲁棒性和准确性。

本文在高密度停车位的复杂停车场进行实验。全局一致的地图构建和定位结果证明了本文的GCSLAM的鲁棒性和有效性。此外，本文在GCSLAM建立的全局地图上测试了定位子系统SF-Loc，实现了分米级的全局精度。 本文的主要贡献如下：

● 提出了一个全局一致的语义SLAM系统GCSLAM，它基于因子图优化，具有创新的车位表示和新颖的几何语义组合误差项用于约束。

●引入了一个停车位管理模块，该模块存储停车位观测并更新全局车位，同时有效处理噪声和误检。

●提出了一个基于地图的定位子系统SF-Loc，它使用因子图优化融合语义ICP结果和里程计约束。

●在复杂的真实室内停车场中验证了本文的系统，表明本文的系统实现了实时、高精度的定位和语义地图构建性能。

▲ 图1｜本文系统的传感器配置©️

相关工作

早期的视觉SLAM技术主要基于滤波方法，但后来出现了利用束调整优化的SLAM系统，这些系统提供了更高的精度和全局一致性。然而，单目相机SLAM存在无法恢复尺度和易受视觉模糊影响的问题。为了提高系统的鲁棒性和准确性，开发了多种传感器融合方法，如MSCKF和VINS-Mono，它们结合了视觉数据和其他传感器数据。

尽管这些多传感器融合方法在某些方面取得了进展，但它们在室内停车场环境中执行自动代客泊车（AVP）任务时仍面临挑战，例如有限的显著特征和复杂的照明条件。为了解决这些问题，一些研究工作提出了使用鸟瞰图图像作为输入的方法，以提供丰富的地面特征。这些方法包括AVP-SLAM、Zhao等人的工作、VISSLAM和MOFISSLAM，它们通过不同的技术手段来提高定位精度和地图构建质量。

尽管这些方法在提高室内停车场SLAM的性能方面取得了一定的成果，但它们对噪声敏感，且在复杂停车场环境中的表现仍有待提高。因此，提出了一种新的因子图方法，旨在提高室内停车场SLAM的鲁棒性和准确性。

方法

本文的系统采用多种传感器作为输入，包括前视摄像头、IMU、轮速编码器和四个环视摄像头。本文工作的总体框架如图2所示。第一部分是SLAM系统GCSLAM。GCSLAM集成了三个模块：全局车位管理模块、里程计和因子图优化。里程计模块与其他模块松散耦合，使其可替换，增强了系统的灵活性和可用性。本文使用VIW作为里程计模块。全局车位管理模块包括BEV感知模块和车位关联。此外，这个全局车位管理模块将检测结果匹配到全局车位，并执行车位关联。基于里程计位姿、语义信息和车位关联结果，因子图优化可以实现精确的姿态估计和全局语义地图构建。在建立了全局语义地图之后，第二部分定位子系统SF-Loc将里程计位姿与语义匹配结果融合，进行基于地图的定位。

▲ 图2｜所提出系统的示意图©️

■4.1 带有语义车位节点的因子图

▲ 图3｜本文SLAM系统的因子图结构©️

本文将SLAM任务视为一个因子图优化问题，目标是估计关键帧的准确位姿。关键帧的选取基于里程计提供的帧间距离。因子图由节点和边组成，其中节点代表需要优化的变量，边是约束这些节点的误差项。正如图3所示，GCSLAM构建了因子图使用了两种类型的节点和四种类型的边，即

\{E_{i,j}^{\text{odo}}\}, \{E_{k,i}^{\text{reg}}\}, \{E_{k,p}^{\text{adj}}\}, \{E_{k,p}^{\text{vert}}\}

节点和边的定义为：

● 位姿节点：位姿节点存储了第帧在世界坐标系中的3自由度汽车位姿，因为SLAM系统假设停车场是平面的。位姿节点的初始值由里程计模块提供。该模块作为一个单独的线程运行。

● 车位节点：当BEV感知模块检测到一个停车位时，它输出其入口边缘的端点坐标和方向在像素坐标中。首先将入口边缘的中点转换到世界坐标。然后，执行车位关联以确定这个观测到的车位的全局ID。这个全局车位表示为。记录当前帧中的观测作为，表示车位入口边缘中点在帧的汽车坐标中的坐标。车位入口边缘中点在世界坐标中的3DoF位姿表示为车位节点。

● 里程计误差项：基于里程计模块构建误差项。具体形式为：

E_{i,j}^{\text{odo}} = (N_i^{\text{pose}})^{-1} (N_i^{\text{pose}})^{-1} - (T_i^{\text{odo}})^{-1} T_{i-1}^{\text{odo}}

● 匹配误差项：该误差约束了和之间的关系。通过将观测转换到世界坐标并与比较，可以建立匹配误差如下：

E_{k,i}^{\text{reg}} = T_i^{\text{odo}} O_{i,k} - N_k^{\text{slot}}

● 相邻误差项：当第个关键帧到达时，遍历所有。如果两个车位和之间的距离小于一个指定的阈值（2.5米），它们被认为是相邻的。在相邻车位之间建立相邻误差项。使用这个误差项来确保相邻车位的方向一致，并且它们之间没有间隙。AET的具体形式为：

E_{k,p}^{\text{adj}} = \frac{\vec{w}_k + \vec{w}_p}{2} - [(N_k^{\text{slot}})_{1:2} - (N_p^{\text{slot}})_{1:2}]

其中表示车位的入口边缘，如图4(d)所示。表示的前两个维度，代表车位的坐标。

● 全局垂直误差：在大多数停车场中，车位要么垂直于彼此，要么平行于彼此。为了利用这些信息，引入了全局车位方向的新概念。定义为前五个观测到的车位的平均宽度。这是因为SLAM在开始时相对准确，没有累积漂移。全局垂直误差只应用于相邻车位，因为在一些停车场中可能存在不与其他车位平行的倾斜车位。这样的倾斜车位更可能孤立存在，所以对这些车位应用全局垂直约束将是错误的。全局垂直误差的具体表达式为：

E_{k,p}^{\text{vert}} = \min\{ |[(N_k^{\text{slot}})_{1:2} - (N_p^{\text{slot}})_{1:2}] \cdot \vec{d}_{\text{global}}|, |[(N_k^{\text{slot}})_{1:2} - (N_p^{\text{slot}})_{1:2}] \cdot \vec{d}_{\text{global}}^\perp| \}

← 左右滑动查看完整公式→

这些误差项有助于保持GCSLAM的准确性和稳定性。增加显著减轻了长距离直线行驶中的倾斜和扭曲问题。加入有效地纠正了里程计的累积漂移。相关实验将在第四部分介绍。

■4.2 全局车位管理

在因子图优化过程中，汽车的位姿会不断被优化。汽车位姿优化完成后，从汽车位姿和车位观测匹配得到的全局车位的位姿也需要更新。

因此，使用全局车位管理模块来存储和管理多个帧的车位观测。当新的观测帧到达时，管理系统会将当前观测与现有的全局车位关联起来。如果没有现有的全局车位与之关联，则会创建一个新的全局车位。当汽车的位姿被优化或者新的观测帧到达时，管理系统会更新全局停车位。

●车位关联：为了确定车位观测是否与之前观测到的现有全局车位相关联，首先将当前观测匹配到世界坐标系中，表示为。然后使用kd-tree来找到最近的全局车位。基于它们中点之间的距离d决定它们是否关联。

如图4所示，如果与任何现有的全局车位都不关联，它将被创建为一个新的停车位，或者作为误检被丢弃。

一旦全局车与关联，就为这个车位增加观测帧计数。通过记录每个全局车位的观测频率，可以排除低频率车位作为误检。这种过滤策略可以有效地减少BEV感知模块的噪声。具体的过滤逻辑在算法1中说明。

● 车位更新：由于因子图是实时优化的，每个位姿节点对应的汽车位姿在不断变化。由于全局车位是从汽车位姿和车位观测匹配的，因此当因子图中每一帧的位姿发生变化时，它也应该相应地进行更新。

本文为每个观测分配一个权重并考虑多个因素来计算它，检测置信度，观测到的停车位与像素坐标中图像中心之间的距离distIC，和角度权重。较短的图像中心距离意味着停车位更靠近摄像头，从而产生更清晰、更可靠的观测结果。对于违反平面假设的区域，例如减速带，本文设计了一个角度权重。较大的翻滚角和俯仰角表明平面假设的违反更为严重，使得当前观测的可靠性降低。因此，设计角度权重为：

w_{\text{rp}} = \exp\left(-10 \times |\text{roll}| + \frac{|\text{pitch}|}{2}\right)

一个观测的总体权重为：

w_{i,k} = 0.2 \times \text{conf}_{\text{bev}} + 0.5 \times \text{distIC} + 0.3 \times w_{\text{rp}}

超越AVPSLAM！上交提出最新泊车SLAM算法：GCSLAM

正文

请到「今天看啥」查看全文