【系列文章】面向自动驾驶的三维点云处理与学习（3）

这篇文章在可以说是很完整的介绍了点云在自动驾驶中各个模块的角色，从宏观的分模块的介绍了点云在自动驾驶中的作用与应用，看完整篇文章，将不仅对自动驾驶技术有了更为全面的理解，并理解点云在自动驾驶中的重要性，这里介绍的高精地图的创建以及定位感知等模块介绍是自动驾驶领域的核心技术，比如在介绍的定位模块的两种定位方式的时候就介绍了不同场景下的使用语义的几何信息以及点云强度信息进行定位的方法时，完全对得上apollo自动驾驶方案，让读者收获颇多。这里博主决定将其完整的翻译过来分享给更多感兴趣的朋友。

在翻译与理解的过程中可能存在笔误或者理解不到位，欢迎大家留言交流。由于文章篇幅较长，文章将被分成多篇文章更新发布。其完整英文版pdf可在免费知识星球中获取。

1、介绍

1-A  自动驾驶的意义、历史与现状

1-B  一个完整的自动驾驶系统模块

1-C 三维点云处理与学习

1-D 大纲

2、三维点云处理与学习的关键要素

2-A 点云特性

2-B 矩阵表示法

2-C 代表性的工具

3、高精地图的创建以及三维点云的处理

3-A 高精地图创建模块概述

3-B 三维点云的拼接

3-C 点云语义特征的提取

3-D 地图创建面对的挑战

4、基于点云定位的处理

4-A 定位模块的概述

4-B 基于地图的定位

4-C 点云定位存在的挑战

5、点云感知

5-A 感知模块概述

5-B 3D点云物体的检测

5-C 点云感知存在的挑战

6、总结与扩展问题

6-A   学术界与工业领域的关系

6-B   定性结果

用于自动驾驶的高精（HD）地图是静态3D环境和交通规则的精确异构地图表示。它通常包含两个地图层：

• 一个点云地图，表示周围环境的三维几何信息；

• 一个与交通规则相关的语义特征地图，包含道路边界、车道、交通标志、交通信号灯、路沿高度等。

创建离线的高精地图的主要原因是实时的检测了解道路中的交通规则太有挑战性了。例如，基于现有技术，在复杂的车道合并与分叉的交叉口，自动驾驶车辆很难实时确定正确的车道。相比之下，所有的交通规则和环境信息都可以很容易地编码到高精地图中，在人为的监督和质量保证下，高精地图要经过离线过程。高精地图提供了强大且不可或缺的先验知识，从根本上简化了自动驾驶系统中多个模块的设计，包括定位、感知、预测和运动规划。因此，高精地图被广泛认为是自动驾驶不可或缺的组成部分。高精地图的作用如下：

定位的先验性 。定位的作用是定位自动驾驶车辆的位姿。在高精地图中，点云地图和交通规则相关的语义特征（如车道标志和标杆）通常作为基于地图的定位的先验。利用这些先验信息对点云地图与实时激光雷达扫描点云配准，从而获得自动驾驶车辆的实时高精度运动位姿。

感知的先验知识 。感知的作用是检测场景中的所有物体，以及它们的内部状态。感知模块可以使用高精地图作为检测的先验。例如，在HD地图中交通灯的位置通常被用作交通灯状态估计的感知先验。以点云地图为先验，可以将实时激光雷达扫描点云分为前景点和背景点。然后可以移除背景点，也就是那些位于静态场景上的点，例如路面和树干，并且只将前景点提供给感知模块。这种形式可以大大降低计算量，提高目标检测的精度。

预测的先验知识 。预测的作用是预测场景中每个物体的未来轨迹。在高精地图中，三维的道路和车道的几何结构和连通性是预测模块的重要前提。这些先验知识可以用来指导预测出的目标轨迹跟随车道。

运动规划的先验知识 。运动规划的作用是确定自动驾驶车辆的运动轨迹。在高精地图中，与交通规则相关的语义特征（如车道几何和连通性、红绿灯、交通标志和车道限速）是运动规划模块必不可少的前提。这些先验知识被用来引导预定的轨迹跟随正确的车道，遵守停车标志和其他交通标志。由于高精地图对自动驾驶重要性，因此必须创建高精度的地图并及时更新地图。为了实现这一点，通常需要复杂的工程程序，利用机器学习技术和人工监督来分析来自多种模式的采集的数据。标准地图创建模块包括两个核心组件：三维点云拼接和语义特征提取；三维点云拼接将从多辆车跨时间采集的实时激光雷达扫描点云数据拼接合并到点云地图中；语义特征提取从点云地图中提取车道几何和交通灯等语义特征。

如图一个标准的高精地图生成系统包括两个核心组件：三维点云拼接和语义特征提取。三维点云拼接通常采用基于图论的SLAM的方法，语义特征提取包含机器学习和人工监督的迭代过程。基于图的SLAM的一个关键组成部分是姿态图，它对LiDAR姿态之间的关系进行建模。节点是LiDAR姿态和代表两帧LiDAR姿态之间未对准水平的边。最终的输出包括一个点云地图，它是一个密集的三维点云，以及一个与交通规则相关的语义特征地图，其中包含路标、交通标志和红绿灯的位置

三维点云拼接的目标是利用车队在不同时间段采集的传感器数据生成高精度的点云地图。由于点云地图关系着所有地图先验的精度，因此点云地图的任何局部部分都需要厘米级的精度。为了快速创建和更新城市级高精地图，三维点云拼接过程必须具有很强的鲁棒性和高效性。

三维点云拼接的一个基本问题是估计每个激光雷达扫描的6自由度姿态，也称为激光雷达姿态。将地图帧视为标准化的全局帧，将激光雷达帧视为采集到相应实时激光雷达点云的时间戳时自动驾驶车辆的自运动点云帧。然后，激光雷达姿态是地图帧和激光雷达帧之间的变换。它包括三维平移和三维旋转。注意，6自由度姿态可以表示为4×4齐次变换矩阵。利用LiDAR姿态，所有的LiDAR扫描点云可以同步到标准化的全局框架中，并整合成一个稠密的3D点云。为了估计激光雷达的姿态，一种常用的技术是同步定位和映射（SLAM）技术。设Si和Sj分别为第i次和第j次实时激光雷达扫描。其SLAM表示式为：

式中，pi是与第i次实时激光雷达扫描点云相关的6自由度姿态，h_Si；Sj（pi，pj）表示Si和Sj之间负对数最大似然性，g（⋅）表示地图帧中预测的激光雷达位置与GPS测量值之间差异的负对数的似然性。h_SiSj表示迭代最近点（ICP）算法的目标函数并最小化ICP算法的目标函数。

SLAM是机器人领域一个重要研究领域，目前已有大量的研究致力于解决优化问题。例如，基于滤波器的SLAM以近似的实时的方式解决优化问题。基于实时的传感器测量值，采用贝叶斯滤波迭代预测和优化地图和激光雷达姿态。另一方面，graph-based SLAM通过使用跨时间的所有传感器测量值来优化所有激光雷达姿态。它构造了一个姿态图来模拟激光雷达姿态之间的。直观地说，每个边的权重要么是两次激光雷达扫描点之间的点到点距离，要么是点到面距离。因此，求解SLAM方程相当于最小化姿势图的边的权重的总和。

对于城市级高精地图的创建，SLAM解决方案必须满足以下要求：

较高局部和全局地图的精度 。局部精度表示一个局部区域的激光雷达姿态相对于另一个区域是精确的；全局精度表示整个高清地图中的所有激光雷达姿态相对于全局帧是精确的。对于SLAM解决方案中，由于自动驾驶软件模块需要高精地图的高精度局部环境，因此构建的地图必须达到厘米每微弧度级的局部精度；厘米级的全局精度有助于加快高清地图的更新过程，特别是对于城市规模的应用；

高鲁棒性 。SLAM解决方案需要处理多个车辆在复杂场景和复杂驾驶条件下采集的噪声传感器测量数据，并且具有

高效率性。SLAM解决方案需要处理超过数亿个LiDAR姿态的优化。为了获得更高的精度和鲁棒性，基于图的SLAM比基于滤波器的SLAM具有更好的选择，因为全局优化的形式使得基于图的SLAM本质上更精确；然而， 以高效率和鲁棒性解决城市规模的基于图的SLAM问题仍然是一个挑战，主要有两个原因 。首先，场景的规模是巨大的。由于优化算法的核心步骤是求解一系列与n×n矩阵相关联的方程，其中n是激光雷达姿态的总数，因此以暴力的方式解决最优化问题是昂贵的。对于城市尺度的地图，n可能上亿个，这对优化算法的计算效率和数值稳定性都造成了很大的影响。其次，由于传感器数据是在复杂的驾驶条件下采集的，因此姿态图边缘权值的计算精度较低。例如，连续激光雷达扫描点云之间的不匹配计算可能会受到移动物体的影响。

为了有效地解决这个问题，可以 采用基于图的SLAM和分层次精细化形式 [18]。分层次细化方法的功能是为全局优化提供良好的初始化，使优化既快速又准确。分层次细化形式区分了姿态图中的两类边：相邻边和闭合边。相邻边是建模两个激光雷达姿态之间的关系，其相应的激光雷达扫描点从同一个数据集中连续帧；循环闭合边是建模两个激光雷达姿态之间的关系，其相应的激光雷达点云从不同的数据集（不同的车辆或跨时间）在同一位置收集的点云帧。为了处理这两种类型的边，层次细化形式包括两个步骤：

（1） 优化相邻边 ，包括来自单个数据集的LiDAR姿态图；

（2） 优化回环闭合边 ，包括跨时间数据集的LiDAR姿态；

在第一步中，可以将来自多个模式（包括IMU、GPS、里程表、相机和LiDAR）的传感器测量融合在一起，而不是简单地依赖于对齐LiDAR扫描来计算相邻边缘。因为连续的激光雷达扫描具有相似的激光雷达姿态，所以这一步通常很容易，并且提供极高的精度。在第二步中，通过ICP算法对齐激光雷达扫描来计算环路闭合边缘。在这两个步骤之后，执行全局优化。由于姿态图中的大多数边都是相邻的边，可以通过第一步进行高精度的优化，因此分层次细化形式为全局优化提供了良好的初始化。因此，采用分层次细化方法可以大大降低整个位姿图优化的计算量，提高全局优化的鲁棒性。

语义特征提取的目的是从点云地图中提取与交通规则相关的语义特征，如车道的几何性质、车道连通性、交通标志和交通信号灯等。这个模块需要高精度和召回率。例如，在城市高精地图中丢失一个红绿灯可能会对感知和运动规划模块造成严重问题，从而严重危害自动驾驶的安全性。语义特征提取组件通常包含两个迭代步骤：

• 第一步采用机器学习技术自动提取特征；

• 第二步引入人工监督和质量保证过程，保证语义特征的高精度和召回率。

为了自动提取特征，标准的机器学习技术是基于卷积神经网络的。输入通常是激光雷达地面图像和与相应的实时激光雷达扫描点云相关联的相机图像的集合。激光雷达地面图像渲染三维点云拼接中获得的点云地图的基于BEV的表示方式，其中每个像素的值是每个激光雷达点的地面高度和激光反射率。输出通常是激光雷达地面图像或相机图像的语义分割。这些网络遵循标准的图像分割架构。在获得输出后，逐像素的语义标签被投影回点云地图。通过将投影的三维点拟合成三维样条曲线或三维多边形，得到与交通规则相关的语义特征图。请注意，人工编辑作业的结果也可作为自动特征提取算法的重要训练数据源，因此这两个步骤形成正反馈回路，以提高高精地图制作的精度和效率。

高精地图的制作还存在一些挑战。

全 局厘米级的点云地图 。具有全局精度点云地图的城市大场景更新有很大的帮助，城市面貌的变化通常发生在局部地区。理想情况下，地图更新应该集中在姿态图的目标部分；但是，具有较高局部精度但没有全局精度的点云地图将无法从全局角度自由访问目标场景并保证其整体精度。相比之下，对于具有较高的全局精度的点云地图，人们可以集中精力更新姿态图的目标部分，从而显著降低计算规模；然而，对于基于图的SLAM来说，强制要求地图具有全局精度是一个挑战。这是因为基于图的SLAM的全局优化方法倾向于在图中均匀地分布每一条边的误差。因此，即使GPS观测值是精确的，经过全局优化后，相应的LiDAR姿态也会发生偏差。在GPS信号不可用的地方，例如在建筑物峡谷、隧道和地下车库中，强制执行点云地图的厘米级全局精度可能特别具有挑战性。

自 动语义特征提取 。尽管基于三维点云和摄像机图像的语义分割方法已经得到了广泛的研究，但是自动提取交叉口和红绿灯中表示车道相互关系的车道连通性仍然是一个挑战。这是由于有限的训练标签和复杂的交通条件。目前，提取交通信号灯到车道信息等复杂语义特征的解决方案仍主要依赖于人工控制，这既费时又费钱。

参考文献