在自动驾驶中，目标检测是感知环境的关键任务，通过定位和分类物体来实现。大多数目标检测算法都依赖于深度学习以实现卓越性能。
然而，其黑箱性质使得确保安全性具有挑战性。
在本文中，作者提出了一种前所未有的方法，用于对与要检测的物体或环境相关的各种因素进行统计分析，以比较基于激光雷达（LiDAR）和相机的3D目标检测器的检测性能。
作者分别分析每个因素与检测误差之间的关系，以比较其影响力的大小。
为了更好地识别潜在的检测误差来源，作者还分析了依赖性因素的性能，并检查了不同影响因素之间的相互依赖性。
识别出影响检测性能的因素有助于识别训练中的目标检测器的鲁棒性问题，并支持目标检测系统的安全性评估。
I Introduction
自动驾驶（AD）感知的基础是各种传感器的目标检测，如RGB摄像头、激光雷达（LiDAR）和雷达[1]。为了充分发挥自动驾驶车辆（AVs）在减少事故和提高道路交通安全的潜力[2]，除了其他因素外，AVs必须能够准确、可靠地感知其环境[3]。
基于深度神经网络（DNN）的目标检测器在定位和分类物体方面实现了高性能[4]。然而，DNN存在一些安全问题，如对小扰动的敏感性和黑箱性质导致的未知行为[5]，因此，为DNN提供安全保证具有挑战性[6]，这是基于DNN的目标检测器在AD安全相关领域应用的主要问题。提供AD感知系统安全性的一个步骤是在设计阶段识别DNN的弱点并理解检测错误的原因。
因此，本工作识别并分析了环境与物体提供的元信息对基于DNN的目标检测器检测性能的影响。元信息是指场景的特征，如天气条件或特定物体属性。通过分析基于相机的目标检测器和基于LiDAR的目标检测器，作者还研究了两种传感器模态之间的差异。作者的开发方法确定了不同目标检测器的特定弱点，并支持了复杂测试目录的开发。
作者工作的主要贡献包括：
（i）对检测器的依赖性进行统计比较，
（ii）识别出基于激光雷达和基于相机的单传感器检测器之间影响因素的差异，
（iii）确定特定类别的依赖性。
II Related Work
虽然有研究分析了感知链中的危险，但大多数研究专注于特定传感器属性产生的危险，或者仅研究对感知算法的特定影响。然而，考虑影响3D目标检测的各种因素的全面统计分析仍然缺乏。
Zendel 等人引入了CV-HAZOP，用于识别基于相机的计算机视觉系统中的多个危险。他们在一款通用的基于相机的计算机视觉模型上应用了危险与操作性分析（HAZOP）分析。在计算机视觉专家确定并指定危险之后，相应的危险手动标注在公共数据集中。
随后，实验应用了几种传统的立体视觉算法到测试数据，并基于图像中错误检测的像素与实际 GT 像素进行评估。在[8]中，Zendel等人通过将HAZOP应用于LiDAR传感器，实现了摄像头和LiDAR的共同危险分析。在A2D2数据集[9]的摄像头图像上应用危险检测器，然后专家根据这些危险评估相应的LiDAR数据的质量。这识别出了摄像头和LiDAR的共同危险，例如物体的反射性和透明性属性。
Linnhoff等人提出了一种感知传感器协作效应和原因树（ PerCoLLECT ），其中开发了摄像头、RADAR 和 LiDAR 的因果链。他们的工作涵盖了整个感知链，从发射到物体识别。在这些工作中没有进行基于深度学习的目标检测器上的危险显式统计分析。
在论文[11]中，李等人对基于深度学习的2D摄像头行人检测的公平性进行了统计分析，评估了在诸如年龄和性别等属性上的检测器性能。他们的观察结果揭示了与儿童相关的目标检测性能存在负偏差，对于具有较小边界框的目标，观察到了更高的错误率。此外，他们还观察到在低对比条件下，女性和儿童的性能退化更大。
最后，Ponn等人是第一批根据目标或环境中的元信息进行基于深度学习的目标检测性能分析。他们训练了一个随机森林（ RF ）模型，该模型将元信息作为输入，并相应地预测目标检测器的错误。随后，他们将SHapley加性解释应用于解释训练好的RF的决策，并按重要性对特征进行排名。这使他们能够比较潜在错误源对检测性能的影响。然而，这种方法严重依赖已训练好的随机森林模型，可能无法准确代表基础数据的统计性质。此外，它仅分析了基于2D相机的检测器的性能。
论文作者 Liang 的论文探讨了3D目标检测错误的可解释原因。然而，仅对一个相机和一个基于激光雷达的检测器进行了检查，这限制了比较。此外，选择元数据和分析方法不足以实现准确识别错误原因的目标。
在作者的工作中，作者提出了一种统计分析方法，用于研究元信息对3D目标检测器性能的影响。此外，作者还分析了单一传感器 LiDAR 和摄像头检测器，以捕获两种模式之间的差异。
III Method
这一节描述了用于统计调查影响检测性能因素的整体方法。首先，介绍了元信息以及选定的目标检测器。最后，作者概述了作者的统计分析方法。
Meta-information
作者的分析需要一个包括LiDAR和摄像头传感器的数据集，并具有相应的3D边界框标注，涵盖场景和环境条件的高度变异性。如同Ponn等人 [12] 的工作一样，作者选择了一个多模态和开源的数据集 NuScenes [16]。NuScenes在白天和夜晚以及不同天气条件下记录了4万帧标注图像，此外，它包括不同类型的传感器，包括6个摄像头和1个LiDAR，共同提供了360°的传感器覆盖。
为了研究元信息的影响，作者从NuScenes中提取环境与真实场景的元信息。对于环境元信息，作者检查位置，包括波士顿的一个地区和新加坡的三个地区。接下来，作者考虑两个二进制变量，表示是否为夜间或白天以及是否下雨。
最后，作者考虑记录的月份，与Ponn等人[12]的研究中考虑的月份不同。待检测目标的元信息包括目标类别及其属性，其中属性定义了目标的实际情况，例如行人移动或汽车停车。
属性仅定义在“汽车”、“行人”、“自行车”和“摩托车”这四个类别中。此外，作者考虑自动驾驶车辆与真实场景物体之间的距离（以米为单位），物体的速度（以米/8为单位），以及物体的偏航角（以度为单位）。
此外，还包括物体的宽度、高度、长度和体积（以米或立方米为单位）。Ponn等人[12]进一步研究了摄像图像中的像素数和遮挡的影响，分别表示目标的可见性，这可以表示为所有6个摄像图像中可见标注的比例。由于作者还考虑了基于LiDAR的检测器，这两个因素不适合比较LiDAR和基于摄像头的目标检测器的性能。因此，作者考虑物体的垂直和水平角大小。这表示自动驾驶车辆视角下物体的实际大小。
Object Detectors
针对单目基于的目标检测，作者研究了两种单目检测器，它们将单张图像作为输入。这种类型的检测器将2D检测框架与几何先验相结合，以估计3D边界框[17]。在作者的研究中，作者分析了元信息对两阶段检测器MonoDIS [18]和一阶段检测器FCOS3D [19]的影响。
对于基于LiDAR的目标检测，作者分析了两种基于 Voxel 的目标检测器，分别是PointPillars 和 Megvii 。这两种检测器都将点云转换为3D Voxel ，从而提取3D目标检测的特征。选择这四种目标检测器是基于它们在单一传感器检测领域的重要性。此外，两种基于相机的检测器和两种LiDAR检测器之间的架构本质上并没有太大差异，这便于识别LiDAR和相机基础检测器之间的差异。
Statistics
在本研究中，作者旨在通过排名影响力度来比较元信息对目标检测性能的影响。特征排序后进行特征选择通常是监督机器学习中的一个重要预处理步骤。作者区分了基于过滤器、包装器、嵌入式和混合方法。后三类方法需要机器学习（ML）模型，因此具有特定性。然而，作者的目标是识别数据的固有特性，而不是训练一个ML分类器来根据元信息预测感知算法的错误。因此，作者选择了一个过滤器基础的方法，该方法与模型无关。
统计分析检测性能的元信息面临的一个挑战是数据的混合性质，即具有分类和数值因素，分别作为特征[23]。许多方法通过离散数值特征或将分类特征编码为数值来进行特征转换，这个过程通常不准确，可能导致信息损失[24]。
在这项工作中，作者使用单变量互信息（MI），它衡量两个变量之间的相互依赖性[25]。这种方法在医学数据分析中得到广泛应用[26]。从两个随机变量的条件熵的并集中推导出的MI值，作为衡量两个变量之间统计依赖性的指标。为处理混合数据，作者使用了一个k近邻熵估计器来处理数值变量[27]。在[28]和[29]中，已经证明相比于通过分箱来离散化数值变量，最近邻方法具有较低的系统误差。k的选择对估计的统计误差有影响。较高的k导致系统误差，而较低的k则表现出更高的随机误差。
如 Kraskov 等人所提出的，作者选择了一个较小的k值=3，以表示在作者的分析中随机误差可以忽略不计。此外，作者通过计算两个随机变量的个体熵来归一化MI值。MI值的优势在于它能够捕捉到线性和非线性依赖性，但其缺点在于它无法评估两个变量之间依赖的精确方向。由于作者的工作主要比较不同因素对检测性能的影响强度，检测性能与元信息之间的MI值是一个合适的度量。检测误差与特定因素之间的MI值较高，表示该因素对检测性能有强烈的影响，而MI值较低则表示两个变量之间的依赖较弱，最小MI值0表示无依赖。对于目标检测器的结果，作者只考虑真正阳性（TP），表示物体被正确检测和分类，以及假阴性（FN）。FN是一个错误，可能是由于错误的边界框定位或错误的物体分类导致的。尽管检测器的性能还取决于假阳性（FP）率，也称为幽灵检测，但只能分析环境元信息，这使得确定潜在错误原因变得困难。
Evaluation
正如上面提到的，MI 值的一个缺点是它没有显示影响力的方向。此外，MI值是一个单变量度量，没有考虑元信息的相互依赖性。这使得从结果中推导因果解释变得困难。因此，作者进一步分析了检测器的召回值与元信息之间的关系，以辨别影响力的方向。此外，作者还检查了不同元信息之间的MI值，以验证作者的结果的可信度。
