专栏名称: 小米汽车
科技跨越,人车合一
目录
相关文章推荐
理想汽车  ·  一图看懂理想汽车广州车展智能发布会 ·  4 天前  
理想汽车  ·  理想智能驾驶十月出行报告出炉 ·  5 天前  
理想汽车  ·  理想L8累计交付突破20万! ·  4 天前  
51好读  ›  专栏  ›  小米汽车

什么是端到端大模型?小米端到端大模型有何不同?

小米汽车  · 公众号  · 新能源汽车  · 2024-11-16 23:31

正文

Xiaomi HAD(Xiaomi Hyper Autonomous Driving) 将全面接入端到端大模型,智驾体验重大升级,预计12月底开启先锋版推送。


那么什么是端到端大模型?小米的端到端大模型与主流的端到端大模型有什么区别?到底什么是车位到车位,上车就能用?一篇文章带你详细了解!


端到端大模型

汽车的“机械大脑”

简单来说,端到端大模型就像是人的大脑,你的眼睛看到了红灯,大脑就立即告诉你要停车。端到端大模型就是智能驾驶的“机械大脑”。

在端到端技术到来之前,传统的智驾大体上都是一个个有规则的子模块连接而成,相当于一个个工作车间,对传感器收集到的信息进行判断加工,最后输出行驶指令。模块化架构的优点是分工明确,如果发现问题,可以分模块检查解决。但是缺点也很明显:上限很低,在执行复杂的驾驶任务的时候,会有明显的机械感,某些时候还需要人工接管。

端到端就是一端传感器输入信息,另一端直接输出行驶指令。将感知、预测、规划这些原本分开的流程,整合为统一的大模型,并进行全部计算。去掉了信息在流水线上传递这一过程,误差和延迟都大大减少。

只需要一个模型(one model),就能把摄像头、毫米波雷达、激光雷达等传感器收集到的感知信息,转换为方向盘的转动方向和角度、加速踏板的踩踏深度等具体的操作指令。通过大量的数据训练,不需要写规则,也不需要处理极端场景,可以做到拟人驾驶,这种技术大幅提升了智驾系统的上限。


小米端到端大模型

更拟人、更高效、更安全

目前主流的端到端大模型是生成式大模型,直接生成一条执行轨迹,如果训练不到位,就会出现很多莫名其妙的“幻觉”,这也是我们说的下限很低。

小米的智驾对端到端的运行方式有着独到的思考,从模仿轨迹转为筛选轨迹。大模型首先实时生成所有合理的行驶轨迹,进而逐一考量安全、舒适、合规、效率等各方面因素,选择最优解并执行。从照猫画虎的模仿者变成明辨是非的评判者,在体验不变的前提下,做到了下限有兜底,体验更稳定,更舒适。

在全面接入端到端大模型后,车辆的行驶轨迹更拟人,更加平滑、自然,急加速和急刹车明显减少。除此之外,车辆还可以根据公交车道的限行情况,智能预判,并规划最佳行驶路径,提前做出更合理的驾驶决策。

同时智驾的博弈能力更强,更加自信果断。具体表现在:

  • 极限通行能力提升:只比车宽40cm的极限窄路也可以顺利通行;

  • 障碍物的识别能力更强:对于路边不规则停放的两轮车、路边停放车辆的外后视镜、不规则的悬空障碍,如外卖车的保温箱,绿植都可以轻松识别;

  • 绕行能力提升:在前车缓慢行驶时,可以更果断,更快速地发起绕行。

端到端大模型的最大优势就是更高效。在符合功能激活的场景下,只要挂入D挡,就可原地启动,一键开启智驾状态,支持地下停车场、地上停车楼、地面停车场、小区、路边等各类停车区域,实现任何场景下的起步。

接入端到端大模型的小米智能驾驶还可以做到ETC、闸机卡口通行,车位到车位,全程无断点。卡口前智能降速,灵活等待;进出口机智识别,精确选择;抬杆后即刻起步,高效利索。


VLM视觉语言大模型

应对更多复杂场景

在复杂场景中,有一些物品可能是在大模型的训练数据中不太常见的,这个时候拥有丰富的阅历对模型来说至关重要。智驾团队将小米集团成熟的VLM视觉语言大模型接入智能驾驶系统,该模型学习了来自互联网的海量信息,并且具备了成熟的复杂场景理解能力。

小米智能驾驶以VLM视觉语言大模型为知识底座,从而认识文字和较为罕见的物体,进行更周全的决策。与此同时,智驾还可以告诉驾驶员它的所见所做,安全感和互动感明显提升。

在行驶过程中,VLM可以对路面情况实时分析,在识别坑洼路面、施工场景、丁字路口等路面情况后,也会提示驾驶员。在未来VLM甚至可以根据不良路况采取不同的驾驶措施,举个例子:在漆黑小路和积雪路段可以小幅度的降低速度,并长时间地低速行驶,直至路况缓解。而遇到减速带,坑洼等单点不良路况时,则会较大幅度、较短时间的降低车速,通过后快速提至正常车速。

Xiaomi HAD(Xiaomi Hyper Autonomous Driving)全面接入小米端到端大模型,上限大幅度提高的同时下限有保障。实现了上车就能用,车位到车位的全场景智能驾驶。端到端大模型的加持大幅提升智驾的能力与体验,并将助力小米智能驾驶成为第一梯队。Xiaomi HAD将于12月底先锋版推送,敬请期待!

Xiaomi HAD 将在 小米SU7 Pro 、小米SU7 Max和小米SU7 Ultra 上搭载。