用于交叉路口车-基础设施协作的视觉-激光雷达外参标定技术：综述

在典型的城市交叉路口场景中，车辆和基础设施都配备了视觉传感器和激光雷达（LiDAR）。通过整合来自车辆端和道路监控设备的数据，可以实现更全面、更精确的环境感知和信息获取。作为自动驾驶技术的关键组成部分，传感器的标定始终受到高度关注，特别是在涉及多传感器协同感知和解决定位问题的场景中，传感器之间的标定要求变得尤为重要。近年来，多端协作的概念应运而生，其中基础设施捕获并传输周围环境信息给车辆，增强了车辆的感知能力，同时降低了成本。然而这也带来了技术复杂性，凸显了多端标定的迫切需求。摄像头和激光雷达是自动驾驶的基石传感器，具有广泛的应用性。本文全面审视并分析了多端摄像头-激光雷达设置的标定方法，从车辆、路侧和车路协作的角度，概述了其相关应用及其深远意义。

图1：智能网联汽车和道路基础设施在交通场景中的协作示意图

在本文中，内容将分为三个部分，重点讨论摄像头和激光雷达的多传感器标定：

• 单端内（车辆和基础设施）多个传感器之间的标定；

• 车辆和基础设施之间的联合标定；

• 随后的相关应用。

这三部分的关系可以总结为以车辆为主体，进行多端协作。目的是增强车辆的感知或定位能力。车辆的多传感器标定已经有许多研究和应用。但从基础设施的另一个角度，即路侧，与车辆合作可以实现更好的感知效果和成本节约。我们还关注路侧自身的多传感器标定，作为车路协同的基础。车路协同作为一个新概念，在自动驾驶任务中具有更重要的意义。通过多端传感器标定，可以精确对齐车辆和路端传感器的坐标系统，确保它们共享的信息在同一坐标系统下有效融合，从而实现更全面、更准确的环境感知和车辆定位。

图2：智能互联汽车和道路基础设施在交通场景中的协作示意图。Infra是road infrastructure的缩写。

视觉激光雷达系统校准

视觉激光雷达系统的准确校准依赖于两个基本前提：摄像头内参校准和传感器同步。摄像头内部校准涉及确定摄像头的内部参数，例如焦距、主点和畸变系数，以确保从像素坐标到世界坐标的准确转换。同时，传感器同步确保来自不同传感器的数据的时间对齐，实现有效的数据融合和感知。我们将重点关注视觉激光雷达校准中的这两个关键前提：摄像头内参校准和传感器同步。

图3：协同的视觉激光雷达外部校准过程：（1）校准对象的数据收集：摄像头和激光雷达数据同时在车辆和基础设施端收集。在此之前，摄像头需要进行内部校准。（2）在车辆和基础设施端分别完成单独的摄像头和激光雷达外部校准，以确保在同一端上一致地表示摄像头和激光雷达数据，从而实现单端视觉激光雷达数据融合。具体的方法根据是否需要特定的人工标记物而有所不同，分为需要目标校准和无需目标校准。（3）在车辆和道路端进行协同的外部校准。根据特定外部是否直接输出，方法分为隐式和显式方法。（4）从校准获得的融合的视觉激光雷达数据在不同的解码和后处理过程中可以用于各种任务，在不同的应用中利用不同的信息。

摄像头内参校准 ：摄像头内参校准的准确性直接影响视觉激光雷达系统的定位和感知能力，通过精确估计摄像头的内参，可以消除图像失真，并实现从像素坐标到世界坐标的准确映射关系，为后续的目标检测、跟踪和三维重建提供可靠的基础。摄像头内参校准技术的研究重点是对象的三维空间坐标与其在图像中的二维像素坐标之间的点对点映射关系。常见的校准方法通常使用人工制作的校准对象。这些对象可以是一维线性标准点、二维棋盘格模式或三维棋盘格对象等。

多传感器同步 ：传感器同步确保来自不同传感器的数据在时间上保持一致，防止数据错位和误差累积，从而实现准确的多传感器数据融合和协同操作。同步方法通常分为硬件同步和基于软件的同步，硬件同步涉及使用支持硬件触发的传感器进行触发同步，即通过物理信号直接控制传感器的帧率。全球导航卫星系统（GNSS）是自动驾驶中的关键传感器之一，具有第二脉冲发生器，并且其时钟由卫星原子钟进行校正，通常实现 10 纳秒的精度。它作为同步控制器的真实值校准，为整个系统提供定时，同时执行其定位功能。

单摄像头-LiDAR校准

校准任务是指准确确定自主或智能驾驶系统中它们之间的相对位置和外参关系。这样的校准任务是为了确保同一载体上多个传感器的准确对齐，以实现有效的感知和环境理解，并为自主车辆导航和决策提供准确的输入。在自动驾驶技术中，大多数现有的传感器校准方案适用于车辆，因为车辆是主流校准任务的场景。然而由于路边在驾驶场景中是一个固定端点，我们不能否认它在自动驾驶中发挥着不可替代的作用。在传统的交通道路上，路边通常安装有极形路边基础设施，人们通常在其上安装摄像头、测速雷达或挂装交通标志，并在交叉口设置电子显示交通信号灯。这是为了协助交通管理，并帮助驾驶车辆的网络了解道路信息。在自动驾驶技术中，路边基础设施也具有类似的不可替代作用。智能路边单元（IRSU）是协作智能交通系统中的一个概念，旨在用作车辆和路边之间的设备。因此在自动驾驶中，这种路边可以为车辆提供更多样化、更广泛范围和更准确的信息。此外，IRSU 还可以为上层交通管理提供更智能的信息。由于车辆经常遇到感知范围的限制、感知盲区的存在和车辆传感器系统的高成本，路边的参与提供了解决这些问题的新方法。人们通常使用路边传感器系统来绘制更广泛范围的道路或与车辆传感器合作进行定位或道路目标的目标检测，这样可以向车辆传递更多信息。如果路边传感器系统具有一定的感知能力，通过通信等方式同时为多辆车提供服务，车辆端可以减少适当数量的传感器或降低上位计算机的要求，以节省单车成本。因此在路边进行多传感器校准是必不可少的，它不仅是路边多传感器系统在协助和与车辆合作方面的基础，而且还为感知解决方案提供了更多不同的启发。

从实际角度来看，车辆校准更加注重在真实行驶车辆中的应用，需要考虑车辆的动态特性和驾驶环境，而道路测试设备的校准更加关注测试设备的准确性和稳定性，以确保实验的可靠性和有效性。换句话说，车辆校准通常需要实时校准以适应车辆姿态的变化，而道路测试设备的校准可以在实验之前进行更稳定的校准。对于单摄像头-LiDAR校准，有各种各样的全面解决方案可满足不同的需求。这些解决方案包括基于目标和无目标的方法。相比之下，针对道路测试设备的校准研究还处于初级阶段，只有少量专门为道路测试设备设计的校准策略。通常，现有的车辆校准方案要么被调整用于路边使用，要么是没有对传感器平台有很强的侧重的泛化方法，后续根据环境特征进行优化和调整。

图4：使用2D棋盘格校准板进行视觉激光雷达校准的图示

基于目标的方法： 根据标志的尺寸特征，这些方法分为基于2D的校准方法和基于3D的校准方法。基于目标的方法主要包括1D校准物体、2D校准物体和3D校准物体。它们各有特点，并适用于不同的多传感器组合的校准。表 I 总结了使用目标进行单端摄像头-LiDAR校准方法的研究现状。

无目标方法： 基于无目标的方法通常侧重于从真实场景中提取自然特征，并基于各种高维属性或特征进行校准，从而放弃了一些准确性和普适性，以获取自动校准的优势。特征提取和匹配通常是方法的核心。对于单个路边的多个传感器之间的校准，以及多个路边上的传感器之间的校准，甚至对于单个路边上的单个传感器，由于不同的视角和目标，方法略有不同。根据李 X 等人的调查，自动无目标 LiDAR-摄像头校准方法可以分为信息论方法、基于特征的方法、自我运动方法和基于学习的方法。大多数这些方法都可以推广到各种场景，唯独自我运动方法由于机制的限制只能在车辆端使用。本节根据单端和多端可用的无目标方法对其进行分类。单端包括车辆和单个路边。由于多传感器之间的相对静止、距离近以及视角相似，单端的多传感器校准问题相对简单。因此，许多单端的多传感器校准方法都是适用的，其中大多数是关于摄像头-LiDAR的。

总的来说，针对单摄像头-LiDAR校准的不同需求，人们的解决方案相对丰富而完整，涵盖了基于目标和无目标的方法。在车辆LiDAR-摄像头校准的背景下，基于目标的方法虽然有效，但在解决车辆运动过程中可能出现的传感器偏移方面存在局限性。这些方法更适用于工厂校准或定期重新校准等情景，其中动态环境条件得到控制。然而，在车辆运行过程中实时传感器对准的偏差可能会导致这些方法难以应对。无目标方法已经成为解决交通场景中动态物体影响校准以及复杂交通环境中校准结果固有的不稳定性的方法。它们具有适应移动环境的优势，但也存在挑战。避免动态物体的影响需要精密的方法来过滤它们对校准准确性的影响。此外缺乏广泛认可的评估工具和针对传感器偏移程度量身定制的综合测试数据集构成了一个持续的挑战，需要引起注意。在路边LiDAR-摄像头校准的背景下，对于基于目标的方法，我们可以看到不同的目标物体对应于不同的需求场景，1D校准对象更适用于大场景中多端和多视角的多摄像头校准，2D校准对象通常是校准板，在单端的摄像头-LiDAR校准中更为合适，而3D校准对象更适用于大场景中多端LiDAR校准。由于路边传感器的安装位置和角度固定且不易更改，导致实时校准的需求相对较低，因此仍有许多采用校准对象的方法。然而，由于鸟瞰视角和安装高度较高，这种校准与车辆中的校准不同，因为传感器的视角和范围不同。

对于基于无目标的方法，我们可以看到，在视角差异较大的多端之间进行不同类型传感器的校准通常更加困难。对于单端多传感器之间的校准，人们可以更多地关注涉及匹配车辆轨迹使用目标检测或特征提取和匹配等方法的摄像头-LiDAR校准。表II总结了车辆摄像头-LiDAR和路边摄像头-LiDAR校准无目标方法的研究现状。这些努力旨在弥合理论进步与实际实施之间的差距，增强智能互联车辆复杂环境中传感器校准技术的准确性和稳健性。此外，我们还注意到，在一些路边多传感器系统中，如果是单个路边上的多传感器系统，人们有时会直接使用提供的固定外部值。这些值是通过手动测量获得的。而如果是多个路边传感器，人们有时会使用GPS直接获取传感器的相对位置。然而，位置的准确性很难保证，并且无法获取传感器之间的角度信息。

多端传感器校准

多端静态校准 ：多节点静态校准主要涉及基础设施之间传感器的校准，其中传感器相对固定在位置上，例如交通灯上的摄像头和路边的雷达。这种类型的校准的重点在于如何将单节点传感器校准扩展到视野广阔且共同视野有限的场景中，确保每个传感器都能稳定准确地提供数据。虽然许多现有的单节点校准方法在理论上适用于多节点静态校准场景，但它们在实际多节点应用中的有效性和可行性尚未通过实验和测试广泛验证。此外，由于静态校准中传感器的位置相对固定，手动操作在一定程度上是可允许的，这可以降低自动化的要求并减轻实际应用中任务的难度。这可以视为一种优势，但另一方面，它也增加了手动维护的成本。

多端动态校准 ：多节点动态校准的概念旨在针对位置变化的传感器，例如在基础设施或其他车辆之间协调的车辆传感器。在这些场景中，这些传感器的相对位置不断变化，因此校准过程必须动态适应，以确保实时数据的准确性和可靠性。动态校准面临的主要挑战包括相对距离的实时变化、环境特征的显著变化以及与上下游系统的强耦合。目前，动态校准技术主要用于激光雷达传感器的多节点任务，其中大多数校准任务依赖于由 GPS/IMU 提供的初始值。有一个从传统的独立方法向更集成和模块化方法转变的趋势。这包括将校准结果集成到感知系统中，以提高感知的准确性和系统的整体性能。在这个广泛的类别中，方法进一步区分为显式和隐式相对位置校准技术。

多节点动态校准的两种分类代表了两种不同的处理策略。显式方法将校准视为独立的处理步骤，直接使用传感器数据输出设备之间的外部参数。随后，这些参数用于下游的感知任务，适用于需要高校准精度和重复性的应用。相反，隐式方法将校准过程集成到感知任务中，在这种方法中，校准不再是独立的输出，而是作为感知算法中的中介动态调整。这种方法增强了系统对动态环境变化的适应能力，特别适用于需要实时调整传感器配置的动态场景。选择这些方法取决于具体的系统需求和操作环境，显式方法强调准确性和独立性，而隐式方法强调集成和动态调整能力。

数据集

数据集在多传感器校准任务中起着至关重要的作用。这些数据集通常需要来自相应传感器的数据，并提供精确的相对姿态信息。鉴于校准任务的特殊性，所需的数据集通常可以从各种感知任务中获取。这些数据集可以分为实际收集的真实世界数据集和由模拟器生成的模拟数据集。

在模拟数据集方面，CARLA模拟器通常用于生成可以提供非常精确外部参数的环境，这对于研究和开发复杂的感知算法非常有益。CARLA特别适用于自动驾驶研究，因为它提供了道路、交通和天气条件的详细模拟。其他常用的模拟器包括用于LiDAR传感器的LidarSim，用于城市交通场景的SUMO，以及用于多车辆协作的OpenCDA框架。这些模拟软件有时可以组合使用以获得更好的特定效果。

从传感器类型的角度来看，尽管现有的多传感器校准方法主要针对多LiDAR系统，但许多当前的多传感器数据集也包括来自异构传感器（如摄像头）的数据。这表明异构传感器的校准任务在数据支持层面得到了良好的支持。

关于数据集的场景设计，许多设计包括车辆对车辆（V2V）和车辆对基础设施（V2I）场景。第V节中提到的多传感器校准方法通常在这两种情景中都有一定的适用性。相比之下，在V2V场景中，不同端点之间的共视区域变化更加剧烈；而在V2I场景中，路边传感器的固定位置提供了更稳定的全局视图，确保了一定程度的数据共视性。此外，由于大多数多传感器校准方法依赖于定位系统提供的初始姿态值，这显著降低了定位共视区域的难度，使得这些场景中的校准任务变得更简单，并减小了这两种情景之间的差异。

应用

智能车辆与道路基础设施之间的协作（V2I）是指智能车辆与道路基础设施之间的感知或位置信息的通信与交换。尽管自动驾驶技术取得了显著进步，但单个车辆在感知信息中对远距离物体的分辨率仍相对较低，且常常被忽略。此外，由于视点有限，单个感知图像存在严重的遮挡问题。诸如车辆定位精度较低、严格的实时要求以及需要解决遮挡问题等挑战，促使了智能网联车辆中的协同感知迅速发展。在自动驾驶的背景下，协同交互主要发生在智能车辆之间（V2V）、智能车辆与道路基础设施之间（V2I）以及智能车辆与其他实体之间（V2X）。通过已知的实体之间的相对位姿关系，智能车辆可以有效获取来自邻近车辆传感器或路边设备的信息。这些信息对于路径规划、碰撞规避和车辆控制等任务至关重要。

智能车辆与道路基础设施之间的精确相对位姿是车路协同的前提条件。协同交互可以解决单个车辆无法处理的问题，如遮挡、远距离感知和车辆定位偏差。在V2I协同场景中，由基础设施提供的定位信息通常表现出更高的精度和稳定性。单个车辆可以利用基础设施的辅助信息优化其定位算法，从而提高定位的准确性和可靠性。基础设施传感器使车辆之间能够进行协同感知，从而允许不同车辆共享环境信息。通过车辆协同感知，单个车辆可以更好地应对复杂的交通状况，从而提高交通效率和安全性。

未来展望

基础设施与自动驾驶车辆之间传感器相对位姿的精确校准在先进交通研究领域具有巨大潜力。通过建立准确的传感器间对齐，这种校准在加强车辆辅助定位和协同感知的各个方面起到了关键作用。通过这种校准，不仅可以为自动驾驶车辆提供辅助定位信息，还能够增强它们的环境感知能力。基础设施和车辆上的传感器之间经过校准的协作，可以显著提高车辆对周围环境的感知，从而提高整体道路安全性。

车辆与道路的协同，车辆之间和与基础设施之间无缝共享感知数据，通过精确校准的传感器设置变得更加可行。这种协同感知可以带来对驾驶环境的更全面理解，有助于实现高效和信息化的交通流管理。这在拥挤的城市环境中尤为重要，因为缓解交通拥堵和高效导航是至关重要的。

展望未来，显然先进技术与智能交通系统之间的持续协作将继续重塑单车旅行的格局。传感器校准技术的不断进步，加上智能基础设施日益增强的能力，预示着将迎来一个更智能、更安全的交通体验新时代。这一创新追求不仅推进了自动驾驶车辆领域的发展，也对构建可持续和智能的交通网络这一更广泛目标做出了重大贡献。通过协同研究和技术进化，我们可以预见一个未来，其中单车旅行不仅更加便捷，而且有助于构建一个更安全、更可持续的城市生态系统。

相机-LiDAR 校准一直是自动驾驶技术领域的关键方面，受到了行业的高度关注。随着多终端协作概念的出现，即通过基础设施向车辆传输环境数据，以增强其感知能力并降低成本，一个新的复杂技术领域应运而生。特别是在多个传感器协同参与感知任务和定位挑战的场景中，传感器间校准的重要性不可低估。多终端校准策略亟需改进。在自动驾驶领域，相机和 LiDAR 传感器是基石元素。它们在感知中的广泛应用和关键作用使其成为校准工作的焦点。本文对多终端相机-LiDAR 校准进行了全面分析，深入探讨了包括车辆端、道路端以及车路协同视角在内的观点。通过概述各自的应用及其更深层次的含义，深入探索了这些校准范式。最后，对未来进行了简要总结，并展望了传感器校准在自动驾驶领域的发展轨迹。随着技术的进步和车辆与基础设施集成的日益普及，校准方法将不断发展以满足这些需求。本研究强调了校准方法持续演进的重要性，这是实现安全高效自动驾驶系统的关键推动因素。