MFCalib：基于多特征边缘的无目标环境下激光雷达与摄像机的单次自动外参标定

本文提出了MFCalib，这是一种用于激光雷达和RGB摄像机的创新外参标定技术，能够在无目标的环境中自动运行，并通过一次数据采集完成标定。该方法的核心是使用丰富的边缘信息，显著提高了标定的精度和鲁棒性。具体来说，我们提取了深度连续和深度不连续的边缘，以及平面上的强度不连续边缘。这种全面的边缘提取策略确保了即使在复杂多变的环境中，也能通过一次数据采集实现精确标定。针对深度不连续边缘的不确定性，我们深入研究了激光雷达的物理测量原理，开发了一种光束模型，有效解决了激光雷达光束导致的边缘膨胀问题。大量实验结果表明，MFCalib在各种场景中优于当前最先进的无目标标定方法，其精度甚至在单次采集中超过了多场景标定的精度。

本文提出了MFCalib，一种在无目标环境下自动外参标定的新方法。该方法结合了从激光雷达点云中提取的多特征边缘和从图像中提取的自然边缘特征，使用一次数据采集来最小化重投影误差。此外通过对激光雷达光束建模，解决了激光雷达中深度不连续边缘膨胀的问题。该方法适用于各种室内和室外场景，通过一次数据采集快速调整外参，克服了基于目标方法的局限性。本文的贡献如下：

• 引入了一种外参标定策略，通过在统一的数据采集框架中利用多特征边缘：深度连续边缘、深度不连续边缘和强度不连续边缘。该方法通过利用自然环境中的多种边缘类型增强了鲁棒性。

• 我们的分析重点在于激光雷达技术固有的光束发散角度，我们对激光雷达光束进行建模，并为深度不连续边缘引入了测量不确定性，有效解决了从点云中不准确提取深度不连续边缘的挑战。

• 算法经过在多样的室内和室外环境中的严格测试，证明其性能优于其他最先进的无目标标定方法。它在单一场景中的标定精度与其他方法在多个场景中的累积表现相当。为支持社区发展，我们将在GitHub上开源代码。

概述

图2展示了所提出标定算法的完整流程，首先激光雷达用于获取稠密的点云，同时摄像机捕捉图像。随后使用Canny算法从图像中提取边缘。激光雷达边缘提取分为两条并行路径：一方面，基于体素提取深度连续边缘；另一方面，利用激光雷达的强度图像提取深度不连续边缘和强度不连续边缘。提取的边缘随后映射回点云，并与所有边缘合并。最终3D激光雷达边缘被投影到图像平面上，通过构建残差进行迭代优化，获得标定结果。

图2. MFCalib系统概述

初始化

标定从外参参数初始化开始，外参由CAD模型和摄像机内参的预标定得出。激光雷达的数据采集因类型而异：对于非重复扫描仪如Livox Avia5，使用静态累积以获取密集点云；对于旋转扫描仪如Ouster6，采用激光雷达-惯性里程计系统来累积点云。

多特征边缘提取

在多传感器系统的标定中，特别是对于高分辨率激光雷达，零值映射和多值映射问题是一项重大挑战。为了规避由遮挡引发的问题，我们的方法使用从激光雷达坐标系中提取的3D边缘，并将其投影到摄像机坐标系中的图像上，从而避免了这一问题。

在激光雷达和摄像机的外参标定中，边缘提取和配准至关重要。现有方法通常依赖单一类型的特征进行标定，这在复杂环境中由于对环境的严格要求，限制了其适用性。为了在单一环境中提取尽可能多的边缘特征，从而提高算法的鲁棒性，我们采用了以下三种不同类型的边缘特征进行配准：

• 深度连续边缘：这些边缘表示物体表面平滑的过渡和连接，但图像中的像素梯度变化通常不明显。

• 深度不连续边缘：这些边缘标示了明显的前景与背景的过渡，在图像中尤为清晰。其对齐增强了深度感知，从而加强了标定的完整性。

• 强度不连续边缘：这些边缘由于材料或颜色变化而产生强度差异，揭示了物体表面的固有特性。在均匀平面上分析强度变化，有效地提取这些边缘。

对于深度连续边缘的提取，我们采用了Yuan提出的基于点云体素切割和平面拟合的方法，高效且准确地提取深度连续边缘。在提取深度不连续和强度不连续边缘时，我们首先将数据映射到球坐标系中，以更好地适应激光雷达的固有测量几何。随后，将该球坐标系转换为笛卡尔坐标系，生成二维强度图像。在此图像中，每个像素代表3D空间中的一簇点，使用这些点的平均强度值为每个像素着色，同时保留其深度信息。之后，我们在强度图上应用Canny边缘检测算法来提取所有边缘。基于KD-Tree的过滤机制用于根据局部性和深度变化区分平面上的深度不连续边缘和强度不连续边缘。这样提取出的深度不连续和强度不连续边缘随后重新映射到原始激光雷达点云中。在激光雷达点云中，将所有提取的边缘合并，得到多特征边缘。该方法充分利用了标定场景中的各种边缘特征，且完全在激光雷达坐标系中进行，避免了零值和多值映射问题。这显著增强了标定算法的鲁棒性和准确性，使其适用于更广泛的应用场景。

图3. 真实场景中的不同类型边缘：红线标记深度不连续边缘，蓝线标记深度连续边缘，绿色线标记平面上的强度不连续边缘。

图4. 由于激光雷达光束发散角度导致的膨胀点和溢出点：(a) 实际的膨胀点和溢出点，其中(1) 为按强度值着色的点云，(2) 为强度图像；(b) 激光雷达光束的示意图。

激光雷达-摄像机配准

边缘匹配

激光雷达坐标系中的边缘点通过投影公式映射到摄像机图像平面上。匹配过程中使用KD树来查找与投影点最接近的图像边缘像素点，并通过这些匹配点的法向量和位置进行优化。

激光雷达测量噪声和偏差

激光雷达和摄像机的测量都会受到噪声的影响。为了处理这种噪声，本文采用了现有的噪声模型，并引入了一个光束模型，解释了激光雷达光束发散角度对测量结果的影响。激光雷达扫描时，当光束同时照射到前景和背景时，可能会产生“膨胀点”，即虚假的深度不连续边缘点。这些点会使边缘看起来被拉伸或膨胀，影响标定的精度。

迭代优化

在标定过程中，投影点应与图像中的边缘点精确对齐。通过构建误差模型并应用高斯-牛顿法进行迭代优化，逐步减少误差，最终提高标定的精度。Ceres Solver被用于执行这一优化过程。

图5. 激光雷达中一个边缘点投影到图像平面 pi的过程。包括与投影相关的残差 zi的计算。蓝色标记激光雷达边缘，红色标记摄像机边缘。

深圳大学校园数据集

该数据集在深圳大学内采集，使用了图6所示的传感器组合8。我们采用了Livox Avia激光雷达和工业级摄像机HIKVISION MV-CA013-A0UC9，其分辨率为130万像素。摄像机的内参通过MATLAB摄像机标定工具箱10预先校准。激光雷达和摄像机在数据采集期间静态放置在固定位置。为了充分利用激光雷达的非重复扫描功能，我们在30秒内累积点云数据，以获得密集的点云。

图6. 激光雷达-摄像机传感器组合。(a) 传感器组合的物理装配。(b) 传感器组合的CAD模型表示。

图7. 标定场景。(A)-(F) 场景1-6。

为验证算法在不同场景下的环境适应性和精度，我们在上述六个场景中进行了测试。每个场景进行了10组实验，初始参数在基准CAD值（旋转5°，平移10 cm）周围随机分配。图8展示了外参参数在各个轴上的结果分布。结果表明，不同场景中的外参参数从不同初始值收敛并接近参考值，展示了算法在多种环境中的一致性、鲁棒性和准确性。

图8. 所有场景设置下收敛后的外参值分布。显示的外参已去除其标称部分

该方法与其他两种方法使用相同的初始外参，并在相应的独立场景中进行对比。实验结果汇总于表I中。我们的方法在六个场景中均显示出精确的标定结果。

定性结果：基于表I中的标定结果，我们对激光雷达点云进行了上色，并选择了场景2-4（前景与背景对象之间的色差较大）进行视觉比较（见图9）。结果表明，我们的方法在所有场景中均能持续产生准确且视觉一致的上色点云，而Yuan和Koide的方法在某些场景中表现出明显的颜色错位。该视觉评估进一步确认了我们方法在标定精度和可靠性方面的优势。

Yuan的公开数据集

为了进一步验证算法的有效性，我们在Yuan的公开数据集上进行了对比实验。该数据集使用Livox Avia激光雷达和Intel Realsense-D435i摄像机11采集。我们从数据集中选择了三个场景进行实验验证。我们的方法仅在单个场景内进行标定，而Yuan和Koide的方法则在单个场景和多场景整合的情况下进行对比。图10显示，单场景条件下，我们的方法显著优于其他两种方法，并且在精度上达到或超过了它们的多场景标定结果。这突显了我们方法在单场景中的高精度，证明其在复杂环境中的鲁棒性。

图9. (a) 使用“伪”地面真值标定参数生成的彩色点云，方框内区域用于比较。(b) 使用我们标定结果生成的彩色点云。(c) 使用Yuan的标定结果生成的彩色点云。(d) 使用Koide的标定结果生成的彩色点云。红框强调了颜色对齐存在明显差异的区域。

图10. 使用Yuan的公开数据集中的三个场景，我们评估了我们的方法与Yuan和Koide方法的性能。图像显示了与摄像机图像融合并通过外参标定的激光雷达数据，点的强度通过Jet颜色映射表示

这项研究提出了一种创新的无标定目标自动外部校准方法，用于LiDAR和摄像头系统，只需一次数据采集即可完成。我们的方法结合了多特征边缘提取技术和LiDAR光束模型，有效解决了由LiDAR引起的边缘膨胀问题。该方法在精度和鲁棒性上超越了现有的最先进的无标定目标技术，证明了其在传统方法表现不佳的挑战性场景中的有效性。