影子模式和智驾EDR之间的秘密

智能车情报局 · 公众号 · · 2024-03-31 19:48

正文

智猩猩与智东西将于 4月18-19日 在北京共同举办 2024中国生成式AI大会 ，爱诗科技创始人王长虎，启明创投合伙人周志峰，Open-Sora开发团队潞晨科技创始人尤洋，「清华系Sora」生数科技CEO唐家渝，万兴科技副总裁朱伟，优必选研究院执行院长焦继超等40+位嘉宾已确认带来演讲和报告，欢迎报名。

影子模式，特斯拉早在2019年发布；

EDR，目前新生产的乘用车已经配备，并且已有相关标准落地。

已经2024年了，为什么想起写这么一个老旧的话题？

最近听到一个老同学说，他们在智驾域中做EDR的功能，我当时有些不解。经过简单的了解后，这不是一个整车EDR的概念；用大白话解释，应该是一个智驾中重要事件触发的数据端，某种程度上可以理解为特斯拉影子模式的阉割版。

影子模式更像是一个免费雇佣采集车(售卖的车辆)和采集员(特斯拉车主)的数据引擎方案，通过采集海量高价值数据，挖掘出更多到Corner Case, 为自动驾驶模型迭代和解决“长尾”问题，提供了解法。

回忆了下特斯拉影子模式的概念和战绩，到现在依然觉得特斯拉做出这种决策和方案的高明性。

今天又是大模型火速发展的时候，自动驾驶也被认为是大模型未来的应用场景；影子模式和智驾EDR都可以称为自动驾驶数据端的方案，或与大模型训练的样本生成有着千丝万缕的联系，所以这篇文章也一起回忆下影子模式，并且通过简要架构，理解下智驾EDR。

1. 影子模式为什么受人吹捧？

2. 简要架构理解智驾EDR

影子模式为什么受人吹捧？

前特斯拉人工智能和自动驾驶总监狱 Andrej Kaparthy在2020年CVPR主题演讲中讲过：自动驾驶汽车是客户手中的产品，不能只做95%就到此为止，长尾效应带来了各种有趣的挑战。

Waymo在2019年的一篇文章中写道：尽管Waymo已经在开放道路上积累超过10 Million Miles，Waymo的工程师们仍然发现有层出不穷的新自动驾驶场景待解决。（现在各个公司依然面临相同的问题）

自动驾驶的“长尾”问题(long tail problem，corner case)包括各种碎片化场景、极端情况和不可预测的人类行为。文章“Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches”（https://arxiv.org/abs/2102.05897）中对自动驾驶领域的“长尾”问题做了系统性的描述，有一些鲜明的例子：相机损坏导致有破碎的像素、挡风玻璃上存在泥垢、突然出现的行人和车辆、无法提前发现的不遵守交通规则的车辆、STOP字母被树枝遮挡等。

这类问题往往是罕见、经常被遗漏且在数据集里面case少的问题。发生概率低，然而一旦发生，那就是百分百事故。

针对这些问题，学术界和业内之前都在积极寻找各种方法：重建、预测、生成、置信度分数和特征提取等，但是最终能不能让模型更加“聪明”的解决此类问题，还是需要大量的、费时费力的数据采集验证。

整个步骤是：

经过海量的路测，了解到特定的“长尾”问题；
构造特定问题的数据集，构造神经网络学习、训练；
当模型可以解决此类问题时，部署上车，长时间路测...，等待下一次问题的发生。

这里面临两个问题：1. 海量的路侧，耗时耗成本（我们都知道路测的痛苦）；2. “长尾”问题触发概率低，模型的更新迭代速度慢。

特斯拉的“影子模式”横空出世，完美解决了上述的两个问题。它的整个处理步骤是：

车辆“影子模式”中遇到实际驾驶情况和自动驾驶AI决策不一致的情况，或者依赖提前制定的trigger触发，这部分行车数据回传到特斯拉后台数据引擎中；
构造特定问题的数据集，并构造神经网络学习、训练；
通过OTA方式部署到全球特斯拉车辆上，等待下一次问题的发生。

每一辆特斯拉车都是“长尾问题”的发现方、特定数据集的采集方、模型迭代的验证方。相关数据展示，特斯拉基于影子模式，2021年已经累计“路测”超过60亿英里。

基于此设计理念的超前，特斯拉可以专心的进行数据集管理，大大增加了神经网络的迭代速度。特斯拉的智驾成为汽车量产行业里的标杆，我想影子模式应该也是居功至伟。

简要架构设计智驾EDR

汽车EDR，汽车事件数据记录系统，主要用于记录车辆碰撞前、碰撞时、碰撞后三个阶段中汽车的关键运行数据。

智驾EDR，顾名思义，智能驾驶过程中的关键事件数据记录，用于记录智能驾驶模式下车辆发生一些异常情况时的数据记录。什么是关键异常数据记录？可能是感知系统输出的帧率连续Ns内的平均帧率低于基准帧率的90%(或其他)，可能是主动安全系统中TTC<5s时本帧融合输出的障碍物横向距离x与上一帧横向距离x的差值，大于阈值X，可能是整套智驾进程对系统的占用过高，可能是刹车加速度瞬时大于N，可能是相机的输出的结果和雷达输出的结果有偏差等。

智慧EDR和影子模式的关键区别是：智驾EDR中都是基于提前制定好的规则触发，没有一套“影子”模型输出与人类对行为输出进行对比。

如果做一个简要的设计，应该是如下：

那么收集这类极端工况场景数据可以做什么？主要对发生故障时的问题进行追溯，对这些不常见的bug进行修复，对整套系统的迭代起到一个非常好的作用。

如果这些全靠人工进行排查、分析，未免有些太费时费力。那么这套系统除了车端的数据记录和回传，应该还有另外一半(或者不只一半)的重要功能在云端。云端部署一整套的数据管理系统，这整套系统可以进行问题追溯和数据管理、自动标注和场景管理、以及自动训练和仿真回归测试等。

云端根据收集到的数据进行问题追溯，并根据问题触发相关的场景采集任务。另外，如果是非模型类的问题，提报相应的bug并通知相关负责人，在bug修复后，进行仿真、测试回归分析；如果是模型类的问题，对相应的问题进行分析（具体属于哪种Corner case），并挖掘、构建、更新场景库，对一个小的模型进行训练、回归分析，直到模型能足够聪明的解决此类问题。最终，将更加聪明的智驾包进行升级。

最后，说一下，大模型，很热很火，应用场景很广。

在自动驾驶领域，提到大模型，会有两种概念。

在车端，一般说的是由多个小模型叠加在一起组成的模型，虽然参数量没过亿，但是整体节省了推理时间，相对于车端的算力限制，也可以称之为大模型。

在云端，因为没有算力限制，可以发挥模型参数量增加带来的优势，可以用真正的大模型完成一些数据生成、数据标注等任务。

也许，真正的大模型将很快对自动驾驶产生深刻的变革，尤其是在云端。

2024中国生成式AI大会预告

影子模式和智驾EDR之间的秘密

正文

请到「今天看啥」查看全文