专栏名称: 点云PCL
公众号将会推送基于PCL库的点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维世界相关内容的干货分享。不仅组织技术交流群,而且组建github组群,有兴趣的小伙伴们可以自由的分享。欢迎关注参与交流或分享。
目录
相关文章推荐
高校人才网V  ·  招聘日报丨高校人才网2025年1月24日招聘 ... ·  2 天前  
高校人才网V  ·  上海立达学院2025年人才招聘公告 ·  2 天前  
青塔  ·  湖南工商大学2025年诚聘海内外英才 ·  昨天  
NXTV都市阳光  ·  【阳光•关注】@大学生,这条消息跟你有关! ·  昨天  
51好读  ›  专栏  ›  点云PCL

使用具有道路标记检测的语义广义ICP实现基于LiDAR的高精地图定位

点云PCL  · 公众号  ·  · 2024-07-18 08:00

主要观点总结

本文介绍了一种基于LiDAR的道路标记检测与定位方法,通过使用语义广义ICP算法将检测到的道路标记与高精地图进行配准,实现了稳健的环境感知和定位系统。该方法包括自适应分割技术、概率局部地图更新、LiBEV图像生成和SG-ICP配准算法等关键步骤,并通过大量实验验证了其有效性和鲁棒性。

关键观点总结

关键观点1: 基于LiDAR的道路标记检测方法

通过自适应分割高反射点和更新时空概率局部地图,平衡了点密度和实时性能。生成LiBEV图像,并使用实例分割网络准确标注9种不同类型的道路标记。

关键观点2: 语义广义迭代最近点(SG-ICP)算法

利用道路标记的语义和几何属性,将检测到的道路标记与高精地图进行稳健配准。通过将线性道路标记建模为嵌入二维空间的1-流形,解决欠约束问题,实现比ICP更高的定位精度。

关键观点3: 实验评估

通过在不同场景和车辆平台上收集的数据进行大量实验,验证了所提出方法在不同场景、LiDAR传感器类型、车速和天气条件下的准确性和鲁棒性。


正文


文章:LiDAR-based HD Map Localization using Semantic Generalized ICP with Road Marking Detection

作者:Yansong Gong, Xinglian Zhang, Jingyi Feng, Xiao He and Dan Zhang

编辑:点云PCL


欢迎各位加入知识星球,获取PDF论文,欢迎转发朋友圈。 文章仅做学术分享,如有侵权联系删文。未经博主同意请勿擅自转载。

公众号致力于点云处理,SLAM,三维视觉,高精地图等领域相关内容的干货分享,欢迎各位加入,有兴趣的可联系[email protected] 未经作者允许请勿转载,欢迎各位同学积极分享和交流。

摘要


在无GPS的场景中,稳健的环境感知和定位系统对自动驾驶至关重要。本文开发了一种基于LiDAR的在线定位系统,结合了道路标记检测和高精(HD)地图上的配准。本文提出了一种实时性能良好的道路标记检测方法,首先引入了一种自适应分割技术来分割与道路标记相关的高反射点,提高实时效率。接着通过聚合历史LiDAR扫描数据,形成了一个空间-时间概率局部地图,从而提供了一个稠密的点云。最终生成了一个LiDAR俯视图(LiBEV)图像,并应用实例分割网络精确标注道路标记。为了进行道路标记配准,设计了一种语义广义迭代最近点(SG-ICP)算法,线性道路标记被建模为嵌入在二维空间中的1-流形,从而减小了沿线性方向的约束影响,解决了欠约束问题,并在高精地图上实现了比ICP更高的定位精度。在真实场景中进行了大量实验,证明了我们系统的有效性和鲁棒性。

图1:(a)可视化了该方法的高精地图定位,其中车辆定位轨迹用绿色标记,车辆的当前位置由红色立方体表示。蓝色点云代表来自单帧LiDAR数据的地面点,这些地面点通过自适应分割技术识别出高反射点,随后通过连续帧数据聚合形成更密集的点云。最后应用语义分割获取语义点云,并将其与高精地图进行匹配以估计车辆的位置。(b)展示了使用我们方法提取的道路标记,包括虚线车道、实线车道、停止线、文字、箭头、菱形标志、三角标志、路沿和人行横道。

主要贡献


本文专门设计了一种语义广义迭代最近点(SG-ICP)算法,通过利用道路标记的语义和几何属性,稳健地将检测到的道路标记与高精地图对齐。在所提出的SG-ICP配准方法中,线性类型的道路标记被建模为嵌入二维空间中的1-流形,从而使线性方向的约束对最终解决方案的影响最小。 贡献总结如下:

1. 提出了一种基于LiDAR的道路标记检测方法,用于在线环境感知。通过自适应分割高反射点和更新时空概率局部地图,平衡了点密度和实时性能。最终生成LiBEV图像,并使用实例分割网络在LiBEV图像上准确检测9种不同类型的道路标记。

2. 提出了一种新颖的道路标记配准算法,用于自动驾驶车辆在高精地图上的定位。在线性道路标记表示为嵌入二维空间的1-流形。这种表示法可以为配准问题提供稳健而准确的解决方案,对欠约束维度的影响最小。与广泛使用的ICP相比,SG-ICP实现了更高的定位精度。

3. 在真实场景中进行了全面实验,展示了系统的实时性能和定位精度。此外,实验结果表明,该方法对各种类型的LiDAR传感器具有适应性,并在不同的车辆速度和天气条件下表现出鲁棒性。

内容概述


本文提出了一种基于LiDAR的道路标记检测系统,用于实时环境感知。此外,引入了一种新颖的道路标记配准算法,以提高自动驾驶车辆在高精地图上的定位精度。图2展示了所提系统的流程图。

A. 基于LiDAR的实时道路标记检测

由于LiDAR点的稀疏分布,仅依赖单帧数据进行稳定且稳健的道路标记检测具有挑战性。为了解决这一限制,连续的LiDAR扫描数据被聚合成一个局部地图,生成有利于有效道路标记检测的稠密点云。考虑到在线需求和高反射道路标记,聚合过程可以选择性地提取地面平面上具有较高强度的点。这种方法确保了优化的局部地图构建,用于道路标记检测,平衡了计算效率和信息丰富度。

高反射点分割:文章提出了一种自适应分割方法,专门识别LiDAR扫描中高反射的地面点,这些点通常与道路标记相关。通过卡尔曼滤波器动态估计和更新分割系数ρk,确保在不同传感器和场景中的适应性,提高了整体系统的稳健性。

概率局部地图更新:通过聚合时空连续的LiDAR扫描数据构建局部地图,并引入一种概率丢弃策略来保持地图的稠密性和实时性。该方法通过计算概率值选择性地移除旧点,确保了局部地图的时空一致性,减轻了累积误差,生成更高质量的LiBEV图像。

LiBEV图像生成:生成LiBEV图像,将局部地图划分为网格单元,并使用实例分割网络(如CenterMask)准确分割出语义道路标记。此方法最多可分割9种类型的道路标记,包括虚线车道、实线车道等,提高了基于地图匹配的姿态估计的稳健性和实际应用中的部署效率。

图2:所提出方法的流程图

B. 基于SG-ICP的高精地图道路标记配准

在检测到道路标记后,可以将其与高精地图中具有相同语义标签的对应元素关联起来。通过道路标记配准来估算车辆在二维空间中的姿态。在本节中,介绍了用于将LiDAR扫描中检测到的道路标记与高精地图中的语义元素进行稳健匹配的SG-ICP算法。在SG-ICP中,检测到的道路标记被分为三类:线条、线段和其他。实线车道和路沿在点云中呈现线性分布且没有明显端点,因此被分类为线条。虚线车道、人行道和停止线也具有线性分布但有端点,因此被分类为线段。文字、箭头、菱形标志和三角形标志没有线性点云分布,因此被分类为其他。

  • 线条:由于缺乏端点,这些标记在线性方向上的约束完全丧失。

  • 线段:虽然端点可以提供线性方向上的约束,但由于端点估计不准确,仍会导致沿线段方向的显著定位误差。

  • 其他标记:它们的点云不是线性分布,因此通常提供足够的姿态估计约束。

为了处理不同类型标记的配准,SG-ICP使用统一的广义ICP(GICP)目标函数来表示三类不同标记的配准过程。GICP算法在优化过程中结合了概率模型,通过最近邻搜索策略来建立高精地图元素与标记点云之间的对应关系。

SG-ICP的概率模型通过利用语义道路标记的语义和几何属性来专门设计。对于每个检测到的道路标记实例,通过估算协方差矩阵来反映点的分布情况。对于线条、线段和其他标记,设置不同的参数来表示沿线方向的不同约束。最终协方差矩阵的计算考虑了不同类型标记的特性,以确保对欠约束方向的影响最小。高精地图中的语义元素表示为包含主方向、语义标签和点集的集合。通过旋转基向量到元素的主方向来计算旋转矩阵,并据此计算协方差矩阵。 最后,在共享相同语义标签的语义点云和地图元素的最近点之间建立关联。然后将相应的协方差矩阵代入目标函数中,启动优化和迭代过程。SG-ICP的概率模型结合了道路标记配准的语义和几何属性,从而提高了姿态估计的准确性。

实验评估


通过在不同场景和车辆平台上收集的数据进行大量实验,展示了所提出方法在不同场景和LiDAR传感器类型下的准确性和鲁棒性。

A.实验设置

所有实验均在NVIDIA Jetson AGX Xavier上进行。LiDAR数据的采集频率设置为10Hz。车辆的全球定位结果使用实时动态(RTK)记录,并与LiDAR数据进行时间同步。RTK结果用作地面实况。实验场景和对应的高精地图如图3所示。

图 3:实验场景(上)及其对应的高精地图(下)。(a)房山1(b)嘉山(c)房山2(d)机场。

B. 道路标记检测评估

通过精确率-召回率指标评估我们的道路标记检测方法的性能。表I展示了我们方法支持的所有道路标记类型的精确率、召回率和F1评分。实验结果表明,我们的方法能够成功检测到9种不同类型的道路标记,并为LiDAR数据中的每个点分配语义标签,如图1(b)所示。实验结果证明,我们的方法在成功检测常见道路元素方面具有高精确率和召回率。

C. 定位评估

提出的SG-ICP算法基于横向、纵向和航偏误差进行评估,评估涵盖了八个实验序列,跨越四个场景并采用七种不同的LiDAR配置,展示了所提出方法的灵活性。选择广泛使用的ICP算法作为基准进行评估,对比结果如表II所示。表中显示,SG-ICP算法在大多数序列中优于基于ICP的方法。尤其是由于SG-ICP计算过程中特别强调充分约束的方向,SG-ICP在横向和航向准确性方面具有明显优势。

图4展示了SG-ICP和ICP方法估算的轨迹与通过RTK获得的地面实况进行对比的可视化结果。值得注意的是,SG-ICP和ICP的显著定位误差分别用紫色和红色线标记,当估计距离误差超过2.0米或航偏误差超过5.0度时。图4表明,在所有序列中,SG-ICP方法显著减少了大量定位误差的发生。

图 4:使用 RTK 提供的地面真实轨迹对 SG-ICP 和 ICP 估计的轨迹进行比较。SG-ICP 和 ICP 的显著定位误差分别用紫色和红色线标记,其中估计距离误差超过 2.0 m 或偏航误差超过 5.0◦。

D. 运行时间评估

在八个序列上进行实验时,我们记录了每个子步骤的运行时间,详细信息如表III所示。需要注意的是,检测子步骤的运行时间分为CPU时间和GPU时间。CPU时间指由CPU处理步骤消耗的时间,包括高反射率点分割、概率局部地图更新和LiBEV图像生成。GPU时间指LiBEV图像实例分割的推理时间。配准子步骤仅由CPU处理。可以看出,当使用XAVIER车载处理器时,在各种场景和类型的LiDAR传感器下,整体方法的平均和最大运行时间分别始终低于50毫秒和200毫秒。因此,所提出系统的效率足以满足自动驾驶应用中的实时感知和定位需求。

E. 鲁棒性评估

为展示我们方法的鲁棒性,将获得的结果与RTK提供的地面实况进行对比。表IV显示,随着行驶速度的增加,定位误差略有增加。这可以归因于随着行驶速度的增加,LiDAR传感器捕捉的点云数据更容易受到运动失真的影响。尽管在较高行驶速度下定位误差略有增加,所提出的方法仍能保持较高的定位准确性,这展示了该方法在不同车速下的鲁棒性。关于实时性能,如表IV所示,整体系统运行时间受行驶速度增加的影响很小,这进一步突显了系统在处理车速变化时的鲁棒性。

为了说明我们方法在不同天气条件下的鲁棒性,进行了不同环境下的实验。如图6所示,干燥和潮湿路面(晴天和雨天)的LiDAR点云强度分布通常存在显著差异。因此,雨天对基于强度的道路标记提取提出了相当大的挑战,特别是对于依赖固定强度阈值的方法。在晴天和雨天条件下生成的LiBEV图像如图7所示。显然,所提出的自适应阈值方法即使在不同天气条件导致显著不同强度分布的情况下,仍能稳定并准确地分割结果。

图 6:直方图分别显示了房山 1 场景中(a)晴天和(b)雨天的 LiDAR 强度分布。

图 7:房山 1 场景中(a)晴天和(b)雨天的 LiBEV 图像。像素着色基于强度值,绿色代表高强度,红色代表低强度

表V比较了在Fangshan1场景中使用1个Hesai-Pandar64 LiDAR在干燥和潮湿地面条件下的定位误差。尽管在湿地面上驾驶时LiBEV图像中的噪声增加导致定位误差增加,但横向误差仍能确保平均在0.10米以内,纵向误差在0.20米以内。这些结果展示了我们方法在应对具有挑战性的天气条件下的鲁棒性。

总结


本文介绍了一种基于LiDAR的在线环境感知和定位系统,具有高效率和鲁棒性。所提出的道路标记检测方法采用了一种新颖的自适应分割技术,以提高效率,并利用时空概率局部地图来确保点的密度。在道路标记配准方面,设计了一种SG-ICP算法,将线性道路标记建模为嵌入二维空间的1流形。我们的方法最小化了沿标记线性方向的约束影响,以解决欠约束问题,从而提高定位精度。在真实城市环境中进行的大量实验展示了所提系统的有效性和鲁棒性,突显了其在可靠在线环境感知和定位中的潜力。然而,由于缺乏高反射率点,我们的方法无法应用于没有地面道路标记的道路。未来的工作中,我们将探索有效利用地面以上信息,以提高定位的鲁棒性。

资源

自动驾驶及定位相关分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

自动驾驶中基于光流的运动物体检测

基于语义分割的相机外参标定

综述:用于自动驾驶的全景鱼眼相机的理论模型和感知介绍

高速场景下自动驾驶车辆定位方法综述

Patchwork++:基于点云的快速、稳健的地面分割方法

PaGO-LOAM:基于地面优化的激光雷达里程计

多模态路沿检测与滤波方法

多个激光雷达同时校准、定位和建图的框架

动态的城市环境中杆状物的提取建图与长期定位

非重复型扫描激光雷达的运动畸变矫正

快速紧耦合的稀疏直接雷达-惯性-视觉里程计

基于相机和低分辨率激光雷达的三维车辆检测

用于三维点云语义分割的标注工具和城市数据集

ROS2入门之基本介绍

固态激光雷达和相机系统的自动标定







请到「今天看啥」查看全文