端到端自动驾驶到底有哪些可能的量产技术路线？

直播预告

智猩猩 「DeepSeek大解读」系列公开课 来喽！前两期分别直播讲解《DeepSeek V3/R1架构的深度分析与深度思考》、《PTX与CUDA：性能、兼容性与生态系统》。扫码申请直播观看或入群交流。

👀

导读

作者：南木清

原文来自知乎，地址：

https://zhuanlan.zhihu.com/p/18239422064

本文只做学术/技术分享，如有侵权，联系删文。

0.1 什么是端到端？

首先定义端到端，当然有很多说法。我觉得，起码说相对于分阶段而言，规划不只是根据感知和预测的结果，而是其隐特征。进一步说， 在前传和反传，planning可以直接触及输入信息 。

0.2 为什么做端到端？

① 优势一：应对场景更多样；

② 优势二：上游出错的结果，不一定影响下游的planning ；比如，如果看tesla的有些视频，就是这样，明显感知出错了，不影响planning；

③ 优势三，性能天花板够高，模型设计空间大 ：比如可以和大模型结合；比如，可以和无监督训练结合。因为，无监督，说明特征无倾向；数据量够大，说明特征泛化好。那分阶段的，一般是有监督训练，当然也可以无监督做个backbone，但还是需要有监督再调；

01

端到端技术路线划分及代表工作

① 直接端到端：就是说 ，不需要中间感知预测模块，比如mile、driveworld、dreamer-v1、dreamer-v2、sem2、bevplanner、transfuser、driveTransformer；可能需要监督，也可能不需要监督，但是，都没有中间模块了；

② 模块化端到端 ：以UniAD为代表，FusionAD，VAD，GenAD，都是；

③ 大语言模型路线 ：drive like a human, driveGPT4， LMDrive, EMMA，Senna；我认为是，这条路线在NLP和多模态的成功，具有启发意义；

④ 基于world model的路线 ：world models，dreamer-V1\V2, sem2，mile，driveworld, 这些的状态转移，其实就是world model。但是现在所说的world model，比如gaia-1， drivewm， 其实可以和端到端模型结合，比如drivewm做了一个比较粗糙的结合。我认为是趋势、是未来。

⑤ 基于Diffusion的路线 ：以DiffusionDrive为例；

按照学习范式，又可分为模仿学习和强化学习，这两个并不冲突，可以一起用。

以上，仅为梳理方便而人为划分，仅供参考。角度不同，划分也不同。我认为，每个研究领域都有其自己的生命力，不可硬性分为几个set的。

02

路线分析

2.1 直接端到端 和 模块化端到端 的对比

直接端到端 ，由传感器信息直接映射到action或者轨迹。由于action或轨迹都太稀疏，训练较为困难，因此，这条路线一般 辅以感知的监督训练，如bevseg、occ、车道线、红绿灯等 。比如mile、driveworld、dreamer-v1、dreamer-v2、sem2、bevplanner、transfuser、driveTransformer

直接端到端（以mile举例）

模块化端到端 ，传感器信息，经过若干感知模块，映射为action或轨迹。不同模块间可传梯度，共同训练。其类似于传统的分阶段自动驾驶，不过是把不同阶段通过transformer中的query机制连接. 以UniAD为代表，FusionAD，VAD，GenAD，都是

模块化端到端（以UniAD举例）

BevPlanner里面的对比图（上面是模块化端到端，下面是直接端到端）

对比可知，由于现有直接端到端也会辅以感知的监督，直接端到端和模块化端到端的共同点是都需要感知监督。不同的是， 直接端到端是并联形式 ，也就是基于共同的表征feature map，来学习感知和规划； 模块化端到端的主线是串联形式 ，还是依赖于感知结果的。

因此，我认为是 直接端到端的天花板更高，而模块化端到端更好训练一些 。因为模块化端到端的中间模块，就是通过对应的感知，释加显示的约束，减小求解空间，那这带来的好处就是好训练，不好就是可能把更有效的规划结果给约束掉了。虽然直接端到端也辅以感知，但毕竟是隐式的，也就是感知是为了学习feature map， 规划还是直接基于feature map的。

ICLR2025在投论文 DriveTransformer，感知、预测、规划并联输出

我认为这两条路线，没有本质区别，只是技术发展的一个顺序：模块化更好训，但最终收敛到直接端到端。但达到更好效果，还有不少工作要做。

2.2 基于VLM或LLM的端到端方案

比如drive like a human, driveGPT4， LMDrive, EMMA，Senna。

首先，我觉得VLM或LLM是有用的。

因为LLM或VLM，复杂场景理解、推理能力，这是很强的。另外一方面，在自动驾驶里，对于轨迹解释、VQA等，可能只能用VLM这样的技术来做。

但是，具体怎么用？是直接替代模块化端到端，还是和他们结合？我认为是后者。

VLM擅长场景理解和推理。所以在复杂场景，模块化端到端可能就傻眼了；VLM呢，泛化能力强，还能有个基本的场景理解。所以这些场景，VLM出决策建议，或者粗轨迹给模块化的端到端，或者直接给下游，应该是很有用的。

（1）双流架构的模型：

也就是一个运行快的模型，和一个运行慢的模型，并行运行； 至于二者怎么分工和交互，每个工作各有所长 ，这个细节可以在讨论。相关工作，比如 DriveVLM、LeapAD、AsyncDriver。On the road虽然没做规划，但在future work中提到了感知部分需要融合传统方案和VLM方案的双流构思。Senna是做端到端规划，其逻辑和思想，与On the road一致。On the road和Senna都认为，VLM适合粗粒度的场景理解和推理，应结合具体任务的模型，实现专家模型泛化能力的增强。我个人非常赞同这个观点。

2024.03, DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models

2024.05, Continuously Learning, Adapting, and Improving: A Dual-Process Approach to Autonomous Driving (LeapAD)

2024.06, Asynchronous Large Language Model Enhanced Planner for Autonomous Driving，和DriveVLM不同的是：这里的两个系统是做自适应融合，而DriveVLM是做switch

2023.11, On the Road with GPT-4V(ision): Explorations of Utilizing Visual-Language Model as Autonomous Driving Agent的conclusion部分, 总结的特别好：VLM适合粗粒度的场景理解和推理，可和具体任务模型（专家模型）结合，发挥二者优势。

2024.10，Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving

（2）3D信息：

有几篇工作，支撑需要3D信息的观点。至于这个3D，是显式的监督信息带来的，还是2D自监督带来的（如dinov2），是可以讨论的。比如"Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving? "、”Language-Image Models with 3D Understanding（Cube-LLM）“、”On the Road with GPT-4V(ision): Explorations of Utilizing Visual-Language Model as Autonomous Driving Agent“。前两篇，是正向支撑，证明了加了3D比较好；第三篇是反向支撑，证明没有3D的定位和空间推理能力弱。

2024.05, "Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving?

2024.05, Language-Image Models with 3D Understanding（Cube-LLM）

（3）总结：

总的来说，这条路线的发展趋势可能是：①和非大语言模型的方案形成双流架构；② 补充3D信息。

此外，On the Road with GPT-4V 和 Image Textualization这两篇论文都提到，现在VLM对环境的感知，属于粒度比较粗的场景理解。

当然，如 Image Textualization这样的方法，正在弥补VLM在细粒度问题上的不足。这条路线值得一直关注。

2.3 基于world model的端到端路线

World Model分为两类： 端到端自动驾驶模型中的world model，数据生成中的world model。

world model的定义：

2018，World Models

World Model要具备 三个属性：预测、表征、可控 。

（1）端到端自动驾驶模型中的world model

用于开车： 探讨世界模型的集成如何使自动驾驶汽车能够预测并制定行动策略？

比如早期的world models，dreamr-V1, dream-V2, sem2， Fiery，mile， 近期的DriveWorld，以Mile为代表：

https://wayve.ai/thinking/learning-a-world-model-and-a-driving-policy/

以Mile举例，其先验拟合后验，就是world model

但是这条路线，好像是用到机器人的偏多，，，用到智驾有一个明显问题：累计误差。

目前，智驾领域的World Model，一般指 基于action条件的驾驶场景数据生成 。

（2）数据生成中的world model

用于数据生成和驾驶行为理解 ：corner case的数据生成，模型或人类驾驶行为的理解

以GAIA-1为代表：

https://wayve.ai/thinking/scaling-gaia-1/

2023.09，GAIA-1

（3）二者的统一：Foundation Model

2024.05, DriveWorld, 把Occ预测和action规划合二为一

Mile, 其实也是生成和规划合二为一的

将生成和规划合二为一的，基本都可以作为foundation model。这类工作有个共性，就是生成的对象是有语义信息和几何信息的。按道理，也只有这样才能做规划。比如，Driveworld是生成Occ; Mile是生成BevSeg图。

值得说明，Mile本身不是Foundation model，但其范式非常具备自动驾驶Foundation Model的潜力。Mile是一篇非常好的学术工作，指的不是性能好，而是启发性强。后期很多端到端的工作，都有Mile的影子。DriveWorld里的MSSM和Mile也类似。

（4）总结world model的用处：

第一个是：端到端出planning或action

第二个是：数据生成，可控数据生成，corner case数据生成；给训练感知或端到端自动驾驶模型用；

第三个是：真实场景的闭环仿真系统，采集数据、评估模型、驾驶行为理解；

第四个是：Foundation Model。也就是基于这个模型，做一系列下游任务。这种范式的工作并不多，代表性的是DriveWorld。个人猜测特斯拉是基于worldmodel，，，因为tesla这么大的算力，我想不是训练模块化端到端，也不是训练VLM，，只有world model匹配如此大算力。仅为个人猜测。

个人认为：虽然这两年是模块化端到端和VLM端到端热闹，过两年可能就是world model了；world model是非常具备潜力的方向，端到端可以看做是world model的子集。

2.4 基于Diffusion的端到端路线

这方面看的不多，以DiffusionDrive举例

Motivation：扩散模型已被证明是机器人领域一种强大的生成决策策略；而扩散本身是连续空间的问题，和轨迹规划更契合，但Diffusion用于规划，不能实时；

1. 直接把Transfuser里的planning decoder换成diffusion，有两个问题：模式坍塌、时间太长；

2. 因此提出，Truncated Diffusion：

① 添加anchor的概念，基于anchor做扩散；

② 前向扩散，只添加小部分高斯噪声，不要到全部是高斯噪声；

③ 其他细节：前向diffusion steps=50，反向denoising steps=2。

i. 消融实验，无从验证diffusion真正起到的作用；

ii. 为什么要用diffusion做规划？没有论述。 个人认为，轨迹规划，本身可以看出是分布的问题，用Diffusion合情合理；但总感觉，杀鸡用牛刀，diffusion更适合分布复杂的情况，如图像生成、语音生成，而对于轨迹规划，或许不能凸显出diffusion的优势。

补充： 基于Diffusion的方法，和前面所说的直接端到端、模块化端到端，甚至基于world model的端到端，不冲突，是结合使用的。简单说，就是把一步回归改为多步回归。

03

总结