专栏名称: 网空闲话plus

原《网空闲话》。主推网络空间安全情报分享，安全意识教育普及，安全文化建设培育。将陆续推出网安快讯、网安锐评、网安政策、谍影扫描、APT掠影、密码技术、OT安全等专集。

汽车自动驾驶系统或存在重大漏洞-数字癫痫:应急车辆灯可致附近碰撞事故风险增加

网空闲话plus · 公众号 · · 2024-11-27 06:57

正文

内盖夫本·古里安大学和日本科技公司富士通有限公司的研究人员在一篇新论文中探讨了高级驾驶辅助系统（ADAS）在应急车辆照明影响下的感知能力问题，即EpileptiCar现象。研究发现，应急车辆的闪光灯会导致物体检测器置信度得分波动，增加自动驾驶汽车在应急车辆附近发生碰撞的风险。通过对五种商用ADAS、四种物体检测器和14种应急灯模式的评估，揭示了应急车辆照明对物体检测器性能的影响。研究还发现，不同ADAS和物体检测器对EpileptiCar现象的敏感性不同，且不同闪光模式对物体检测性能的影响也有所差异。主要洞察归纳为五个方面：一是应急车辆照明启动导致EpileptiCar现象，使物体检测器置信度得分大幅波动，影响检测阈值。二是应急车辆照明改变捕获帧中汽车颜色分布，影响物体检测器对汽车的识别信心。三是EpileptiCar现象在不同ADAS中普遍存在，但分数波动范围和稳定性因ADAS而异。四是现象在不同物体检测器中一致，但分数波动范围因检测器而异。五是不同闪光模式对物体检测算法的影响不同，部分模式严重影响检测性能。为了应对这一挑战，研究提出了Caracetamol框架，有效增强了物体检测器对应急车辆闪光灯影响的抵御能力，显著提高了检测能力和置信度稳定性，从而增强了ADAS在应急灯条件下的安全性。《连线》11月26日对此进行了报道。

新发表的研究发现，警车和救护车上的闪光灯可能会导致基于图像的自动驾驶系统出现“数字癫痫发作”，从而可能导致事故发生。

内盖夫本·古里安大学和富士通有限公司的Elad Feldman、Jacob Shams、Satoru Koda、Yisroel Mirsky、Assaf Shabtai、Yuval Elovici和Ben Nassi撰写的一篇新论文对特斯拉自动驾驶仪等系统提出了质疑。

汽车制造商表示，他们日益复杂的自动驾驶系统将一些预测何时会发生碰撞并避免碰撞的繁重工作交给了机器，从而使驾驶更安全、压力更小。 但新的研究表明，其中一些系统可能会在最糟糕的时刻做出相反的事情。

论文指出，当一些基于摄像头的自动驾驶系统暴露在紧急车辆的闪光灯下时，它们就无法再自信地识别道路上的物体。研究人员将这种现象称为“数字癫痫发作”——简称为epilepticar——即经过人工智能训练以区分不同道路物体图像的系统，其有效性会随着紧急灯的闪烁而波动。研究人员表示，这种影响在黑暗中尤其明显。

换句话说，应急灯可能会让自动驾驶系统无法确定前方的汽车形状物体是否真的是汽车。研究人员写道，该漏洞“构成重大风险”，因为它可能会导致启用自动驾驶系统的车辆“在应急车辆附近发生碰撞”，并“被对手利用造成此类事故”。

虽然研究结果令人震惊，但这项新研究也有几个注意事项。首先，研究人员无法在任何特定的驾驶系统上测试他们的理论，例如特斯拉著名的Autopilot。相反，他们使用从亚马逊购买的行车记录仪中嵌入的五种现成的自动驾驶系统进行测试。（这些产品在市场上宣传包含一些碰撞检测功能，但在本研究中，它们充当了摄像头。）然后，他们将这些系统捕获的图像通过四个开源物体检测器运行，这些检测器使用图像进行训练以区分不同的物体。研究人员不确定是否有汽车制造商使用他们论文中测试的物体检测器。可能大多数系统已经针对闪光灯漏洞进行了强化。

本·古里安大学网络安全和机器学习研究员、论文作者本·纳西表示，这项研究的灵感来自一份报告，报告称，2018年至2021年间，特斯拉使用该电动汽车制造商的高级驾驶辅助功能Autopilot与大约16辆静止的应急车辆相撞。纳西说：“我们从一开始就很清楚，这些碰撞可能与应急闪光灯的亮起有关。救护车、警车和消防车的形状和大小各不相同，所以不是车辆的类型导致了这种行为。”

美国国家公路交通安全管理局对特斯拉紧急车辆碰撞事件进行了为期三年的调查，最终导致特斯拉Autopilot软件被全面召回，该软件旨在执行一些驾驶任务，例如转向、加速、制动和在某些类型的道路上变道，而无需驾驶员帮助。该机构得出结论，该系统在系统启动时不足以确保驾驶员集中注意力并控制车辆。（其他汽车制造商的高级驾驶辅助套件，包括通用汽车的Super Cruise和福特的BlueCruise，也会执行一些驾驶任务，但要求驾驶员在驾驶时集中注意力。与Autopilot不同，这些系统仅在已绘制地图的区域起作用。）

在回复《连线》杂志的书面声明中，NHTSA发言人Lucia Sanchez承认紧急闪光灯可能起到了一定作用。 “我们知道，在某些情况下，当紧急闪光灯出现在行车路线上时，一些高级驾驶辅助系统没有做出适当的反应，”Sanchez写道。

特斯拉于2021年解散了公关团队，该公司没有回应《连线》的置评请求。研究人员在测试中使用的摄像系统由HP、Pelsee、Azdome、Imagebon和Rexing制造；这些公司均未回应《连线》的置评请求。

尽管NHTSA承认“一些高级驾驶辅助系统”存在问题，但研究人员明确表示： 他们不确定观察到的这种应急灯效应与特斯拉的自动驾驶仪故障有何关系 。“我并不是说我知道特斯拉为什么会撞上应急车辆，”纳西说。“即使这仍然是一个漏洞，我也不知道。”

研究人员的实验也仅关注基于图像的物体检测。许多汽车制造商使用其他传感器（包括雷达和激光雷达）来帮助检测道路上的障碍物。一小部分技术开发商（其中包括特斯拉）认为，基于图像的系统加上复杂的人工智能训练不仅可以实现驾驶辅助系统，还可以实现完全自动驾驶汽车。上个月，特斯拉首席执行官埃隆·马斯克表示，该汽车制造商基于视觉的系统将在明年实现自动驾驶汽车。

事实上，系统对闪光灯的反应取决于各个汽车制造商如何设计自动驾驶系统。有些汽车制造商可能会选择“调整”其技术，以对不能完全确定是否是障碍物的东西做出反应。在极端情况下，这种选择可能会导致“误报”，例如，汽车可能会紧急刹车，以应对幼儿形状的纸板箱。其他汽车制造商可能会调整其技术，仅在非常确信所见是障碍物时才做出反应。在另一个极端情况下，这种选择可能会导致汽车无法刹车以避免与另一辆车相撞，因为它完全没有意识到那是另一辆车。

汽车自动驾驶系统或存在重大漏洞-数字癫痫:应急车辆灯可致附近碰撞事故风险增加

正文

请到「今天看啥」查看全文