今年的智驾只有一个声音！端到端+大模型

今年的智驾只有一个声音，那就是端到端+大模型！无论是完全端到端，还是专注于planner的模型，各家公司基本都投入较大人力去研发，小鹏、蔚来、理想、华为都对外展示了其端到端自动驾驶方案，效果着实不错，非常有研究价值。

为什么需要端到端？

首先我们聊一下当前的主流自动驾驶方案，主要核心部分包括：感知模块、预测模块、规控模块。每个模块相对独立，感知模块给预测模块提供动静态障碍物信息；预测模块为规控模块提供规划的参考，规划再转换为控制指令。从传感器端到控制端，需要多个功能支持，这就不可避免导致了累积误差，一旦碰到问题，需要整个pipeline做分析。而且每个模块的优化，并不能保证整个系统达成最优解。

这个时候，就希望有一种模型能够完成感知信息的无损传递，即从传感器端到输出控制策略端，这也是端到端自动驾驶提出的原因。端到端核心是优化最终目标且全局可导，作为一个完整的优化任务来看，直接求最优解，而不是先求感知再求规控的最优解。

可以看出，和以前模块化的方法不同，端到端不再要求算法工程师各自为战，搞感知的就搞感知，搞规控的就搞规控。而是需要全栈！什么都要懂，感知的难点要端到端解！规控的难点也要端到端来解！！那么端到端到底涉及哪些内容呢？今天就带大家一起看下我们『自动驾驶之心知识星球』关于端到端自动驾驶的相关内容和前沿讨论！ 涉及综述/数据集/前沿算法的汇总、科研界顶级大佬直播、岗位招聘、日常讨论、从业感悟等等，应有尽有~

综述

首先离不开综述的汇总！ 这些综述系统性的归纳近几年的研究工作并分门别类，很适合小白和找方向的小伙伴：

关键思考和Workshop

其次是一些对于端到端自动驾驶的深入思考及业内最前沿的workshop：

里程碑算法一览

任何算法的发展离不开一些里程碑的奠基之作：

自动驾驶与视觉大语言模型

端到端与视觉大语言模型的结合也是一大趋势：

世界模型与强化学习相关

自世界模型提出以来，也有相当多端到端世界模型工作：

多传感器融合与端到端

端到端自然也离不开多传感器融合：