专栏名称: 自动驾驶之心
自动驾驶开发者社区,关注计算机视觉、多维感知融合、部署落地、定位规控、领域方案等,坚持为领域输出最前沿的技术方向!
目录
相关文章推荐
内蒙古政府办公厅  ·  内蒙古这一街区被选上了!你去过吗? ·  2 天前  
内蒙古政府办公厅  ·  内蒙古这一街区被选上了!你去过吗? ·  2 天前  
51好读  ›  专栏  ›  自动驾驶之心

今年的智驾只有一个声音!端到端+大模型

自动驾驶之心  · 公众号  ·  · 2024-10-09 07:30

正文

今年的智驾只有一个声音,那就是端到端+大模型!无论是完全端到端,还是专注于planner的模型,各家公司基本都投入较大人力去研发,小鹏、蔚来、理想、华为都对外展示了其端到端自动驾驶方案,效果着实不错,非常有研究价值。

为什么需要端到端?

首先我们聊一下当前的主流自动驾驶方案,主要核心部分包括:感知模块、预测模块、规控模块。每个模块相对独立,感知模块给预测模块提供动静态障碍物信息;预测模块为规控模块提供规划的参考,规划再转换为控制指令。从传感器端到控制端,需要多个功能支持,这就不可避免导致了累积误差,一旦碰到问题,需要整个pipeline做分析。而且每个模块的优化,并不能保证整个系统达成最优解。

这个时候,就希望有一种模型能够完成感知信息的无损传递,即从传感器端到输出控制策略端,这也是端到端自动驾驶提出的原因。端到端核心是优化最终目标且全局可导,作为一个完整的优化任务来看,直接求最优解,而不是先求感知再求规控的最优解。

可以看出,和以前模块化的方法不同,端到端不再要求算法工程师各自为战,搞感知的就搞感知,搞规控的就搞规控。而是需要全栈!什么都要懂,感知的难点要端到端解!规控的难点也要端到端来解!!那么端到端到底涉及哪些内容呢?今天就带大家一起看下我们『自动驾驶之心知识星球』关于端到端自动驾驶的相关内容和前沿讨论! 涉及综述/数据集/前沿算法的汇总、科研界顶级大佬直播、岗位招聘、日常讨论、从业感悟等等,应有尽有~

综述

首先离不开综述的汇总! 这些综述系统性的归纳近几年的研究工作并分门别类,很适合小白和找方向的小伙伴:

关键思考和Workshop

其次是一些对于端到端自动驾驶的深入思考及业内最前沿的workshop:

里程碑算法一览

任何算法的发展离不开一些里程碑的奠基之作:

自动驾驶与视觉大语言模型

端到端与视觉大语言模型的结合也是一大趋势:

世界模型与强化学习相关

自世界模型提出以来,也有相当多端到端世界模型工作:

多传感器融合与端到端

端到端自然也离不开多传感器融合:







请到「今天看啥」查看全文