CRLF：道路场景中基于线特征的激光雷达与相机自动标定

对于自动驾驶车辆，激光雷达和相机的精确标定是多传感器感知系统的前提。然而，现有的标定技术要么需要复杂的标定板，要么需要预先进行初始标定，这严重阻碍了其在大规模自主车辆部署中的应用。为了解决这些问题，我们提出了一种新的方法来标定道路场景中激光雷达和摄像机的外部参数。该方法在图像和点云中引入了静态直线形状物体（如车道和标杆）的线特征，并将外部参数的初始标定作为一个透视三线（P3L）问题。然后，在线性特征的语义约束下，设计一个代价函数，对求解后的粗标定进行细化与优化。整个过程是完全自动的，用户友好，无需调整环境设置或提供初始校准。我们在KITTI和我们的数据集上进行了大量的实验，定量和定性的结果证明了我们方法的鲁棒性和准确性。

本文利用直线形状的物体，包括车道和极点，以丰富我们的潜在校准目标。相应地，这种新的标定方法被称为CRLF：基于线特征的自动标定和提取。首先，从单对图像和点云的车道和极点中提取直线特征。然后，我们将外部参数的校正问题描述为一个透视三线（P3L）问题。如图1所示，

提出的CRLF算法从图像（白色区域）和点云（粉色点）中提取直线特征，并通过求解直线特征约束下的P3L问题来估计粗标定。最终的外部参数经过语义线特征细化后，用于将所有点云数据投影到原始图像中。

CRLF可以分割图像和点云中的线状目标，其中三条直线对应可以提供足够的约束，以相当快的速度计算粗略校准。随后，我们通过代价函数监督这些图像mask和点云线段之间的匹配，进一步细化标定结果。考虑到对环境设置和全自动校准程序的要求较少，该方法有助于更有效和实用的大型自主车辆（AV）的部署和测试。本文的工作主要有四个方面：

1）提出了一种基于道路场景中直线形状物体的全自动无目标激光雷达相机外参标定方法CRLF。

2） 提出了一种直线特征提取算法，用于提取图像和点云的车道和极点的直线特征。

3） 提出了一种基于线对应的初始标定估计算法和一种新定义的标定细化代价函数。

4） 通过对KITTI和我们的内部数据集的评估，我们证明了CRLF在定量和定性结果方面的稳健性和准确性。

在给定单帧图像和点云数据的情况下，该方法能够自动计算出相应摄像机与激光雷达之间的外参数。首先，线特征提取器可以提取图像和点云的线对，它包括提取道路车道的车道检测器和分割道路边上的路灯、电线杆等极性物体的极性检测器。然后，从检测到的车道和极点特征中拟合出多条直线，通过寻找正确的直线对应关系和解决P3L问题，可以估计出粗校准。最后，利用在检测车道和极点语义约束下定义的代价函数对粗标定结果进行优化

线特征抽取器从提取具有丰富语义信息的线对的角度出发，提出了线特征抽取器来处理图像和点云。静态车道、灯和电线杆是线路特征的供应商。对于点云，我们着重利用几何先验知识和传感器特征来分割这些目标。对于图像，特征提取主要是基于语义分割和轮廓细化

粗校准示意图。分别从点云和图像的线特征中拟合出黄色线和红色线。通过求解P3L问题，将橙色线投影到像面上相应的红色线上，借助于中间地面平行坐标系G（用绿色标记）进行粗校准。

外参精细校准的伪代码

为了评估CRLF的性能，在两组数据上进行了实验。第一个是KITTI数据集，它通常被用作自主驾驶相关研究的基准数据集。采用包含原始传感器数据和校准文件的KITTI原始数据集。点云数据来自Velodyne HDL-64激光雷达，图像来自校正后的左侧RGB相机，分辨率为1242×375。以标定文件中的摄像机内参数作为地面真值，外参数作为评价CRLF精度的参考。我们的数据以10帧的间隔从各种道路场景中选取，以确保任意两帧之间有足够的视差。

CRLF定性结果。第一行是我们内部数据集的结果，第二行是KITTI数据集的结果。（a） ：来自相机的原始图像。（b） ：粗校准的线特征投影结果。（c） ：通过精确校准得到的线特征的投影结果。（d） ：通过精细校准将整个点云投影到原始图像上的结果。局部区域的对齐用粉色框标记，并在右下角放大，以便更好地显示（b）和（c）中的校准质量。

本文提出了一种新的全自动激光雷达与摄像机外部参数标定方法CRLF。我们利用静态直线形状的物体，包括车道和灯杆，以丰富我们的潜在目标进行校准。提出了一种直线特征提取算法，用于提取道路场景中图像和点云的直线特征。线特征不仅提供了足够的空间约束来稳健地估计精确的初始标定，而且为进一步的细化提供了丰富的语义信息。定性和定量结果证明了CRLF的鲁棒性和有效性。实验还表明，CRLF有希望为现实世界中的公司和用户大规模部署AVs。由于CRLF可以应用于各种场景，它的性能在很大程度上依赖于线特征抽取器，线特征抽取器可能会受到恶劣的环境条件的影响，例如雾、雨和夜晚，这些环境条件会影响传感器的测量，以及分割模型错误提取的意外对象。此外，由于线形物体已经可以提供足够的空间约束，我们期待在不同的范围和位置使用更多的几何形状物体来进一步提高性能。