专栏名称: 自动驾驶之心
自动驾驶开发者社区,关注计算机视觉、多维感知融合、部署落地、定位规控、领域方案等,坚持为领域输出最前沿的技术方向!
目录
相关文章推荐
小众软件  ·  另外两件事[250312] ·  昨天  
小众软件  ·  真的很老的古董更新:RBTray ·  昨天  
APPSO  ·  本地部署满血版 DeepSeek ... ·  2 天前  
APPSO  ·  iPhone 将迎来 10 ... ·  2 天前  
南方能源观察  ·  两会声音 | 能源央企“一把手”谈行业发展新思路 ·  2 天前  
51好读  ›  专栏  ›  自动驾驶之心

大模型这么火!如何快速入门?

自动驾驶之心  · 公众号  ·  · 2025-02-16 00:00

正文

开工回来,公司的同事们都在讨论DeepSeek,恨不得明天就想办法量产上车! 今天自动驾驶之心就和大家聊聊DeepSeek能对自动驾驶产生 哪些影响。

从技术层面上讲,DeepSeek可以与感知、决策算法相融合(多模态+LLM、端到端+LLM),这样无论是在云端还是车端都会有比较可观的前景应用。尤其是R1出色的推理能力, 思维链能否体现在决策解释上? 数据如何构建?模型如何训练?都是值得探索的方向。类似的,DeepSeek能否重塑数据闭环?大模型挑选高价值标注数据,甚至 自动化标注、 自动化质检 ,配合强大的多模态能力,是否可以自动化测试?空间理解、时间理解能否进一步实现?想多了全是问题,做多了全是答案!

而这一切都需要扎实的大模型基础,大模型发展至今有哪些前沿算法,如何训练大模型?训练数据如何制作?训练&推理都有哪些坑? 这里强烈推荐下自动驾驶之心的多模态大模型课程,课程从通用多模态大模型,到大模型微调,最终在聚焦在端到端自动驾驶多模态大模型,基本上面试的东西课程里面都有介绍。课程大纲如下:

大模型火热开卷!拼团优惠等你加入~


课程内容一览

第一章:多模态大模型介绍

第一章主要介绍多模态大模型的基础概念,在整体上帮助同学们了解多模态大模型,打开大模型之路的大门。老师从多模态算法的概念出发,延伸到多模态大模型的结构&训练范式及公开数据集的介绍。在整体上对多模态大模型有一定了解后,我们会进一步聊聊实际的应用场景,让大家对未来可能从事的工作方向和工作内容有一定的了解,最后老师会介绍咱们课程的整体框架及预期的实战学习成果。

第二章:多模态大模型的基础模块

第二章正式进入多模态大模型的基础模块学习。老师会首先介绍多模态大模型的整体架构。模态编码器是什么?Input Projector有什么作用?LLM Backbone是什么?Output Projector又用来做什么?最后的Modality Generator又如何应用到具体的模态生成?在这一章都会得到解答!

第三章:通用多模态大模型

第三章聚焦于通用多模态大模型的讲解与实战。作为多模态大模型下游应用的基石,可以说没有通用多模态大模型的蓬勃发展,就不会有当下大模型应用百花齐放的局面。这一章节老师选取了五个算法展开详细介绍:涵盖了图文理解、视频理解、任意模态、轻量大模型以及实战-统一视觉任务大模型算法,即兼顾了学术界又兼顾了学术界。这一章老师将会带领同学们真正进入多模态大模型的世界。

实际效果:

第四章:多模态大模型微调与强化学习

第四章则聚焦于业内应用最广泛的微调与强化学习技术。如果把通用多模态大模型比作大树的枝干,那么微调技术则是大模型开枝散叶的核心技术。这一章老师首先会做一个训练策略的概述,微调到底微调个啥?接下来则会进入六篇论文的精讲和实战,涉及Adapter、LoRA、QLoRA、Reward Model+PPO、KTO和实战算法DPO,这一章仍会兼顾学术界和工业界,学完这一章,你将有能力训练面向特定业务需求的多模态大模型。

第五章:多模态大模型在自动驾驶中的应用

在讲解完通用大模型和微调技术后,第五章则聚焦于多模态大模型在自动驾驶中的应用,尤其是在端到端自动驾驶中的应用。老师选取了五个最有代表性的算法一一讲解,其中包含理想端到端自动驾驶量产方案参考的算法DriveVLM!在这一章,大家将会掌握最前沿的端到端自动驾驶大模型,为后面就业和升学增添助力!







请到「今天看啥」查看全文