这是我们一个铁粉的投稿,记录了从传统行业到自驾再到具身的转型,分享给大家!
毕业那年,AI四小龙是香饽饽,只有学院的Top级大神才能进面试,我和大部分人一样是挂在了简历阶段。最后去了华子,里面对我们应届生方向是不确定的,所以在做了一年多车载系统测试相关的工作后,我觉得实在没啥意思,和我想做深度学习相关应用的初衷差了很多。
在经过一系列面试和选择后(华子的背景还是让我简历增光不少),我加入了一家智能交通行业内的龙头企业,做车牌识别,从YOLO到FasterRCNN,再到DETR,终于实际用上了这些喜欢的技术。
时间来到了2022年,我在单位干的风生水起,但大部分的工作已经非常熟悉,方案也趋向于稳定,更多的是在维护和做数据相关的工作,而此时外面已经翻天覆地,自动驾驶行业的激动人心的消息占比越来越多,也是这一年我结识了自动驾驶之心,从此成为我的星标公众号。
通过这个渠道,我认识了一系列的新的技术栈,单目3D目标检测、BEV等等,SOTA技术层出不穷。我意识到这个行业的又一个春天来了。我经过深思,并有幸和自动驾驶之心的创始人交流取经,决定转行自动驾驶。
那个时候,BEV是热门方向,当时学习了一些论文和自动驾驶之心的课程。因为课程本身比较前沿,讲的也比较仔细,吃透后就去面试了。后面获得了很多公司(有新势力车企,有供应商)的offer,最后选择去了一家可换电的新势力车企,薪资确实香,做BEV方向,当时公司氛围也非常棒。Tesla的AI Day视频和自动驾驶之心的课程成为我后面工作之余充电的主要资料,也结识了很多自动驾驶行业的大佬,解惑了很多,技术人真的非常nice。
国内受Tesla AI Day的影响,很多技术都是亦步亦趋的,当马斯克的Optimus机器人出来的时候,确实让我感到有点震惊,事实证明,从那个时候开始,很多人已经在开始往这个方向创业了。
2024年开始,Sora出现,我当时就看个热闹,但发现后面世界模型也在自动驾驶行业开始出很多SOTA的工作,并且在当下热门的具身智能领域也大放异彩。这一年,非常多的具身智能公司涌现出来,最印象深刻的还是“稚晖君”站台的智元机器人。特斯拉的“We,Robot”发布会加速了具身智能的热点效应,以至于今年很多同事在跳槽的时候,都被猎头推荐很多具身智能相关公司,薪资比同级的智驾高不少。
外面的诱惑是很大的,而智驾也确实在内卷中,随着公司销量和烧钱的不成比例,我又站在了选择的十字路口。这个时候又让我结识了具身智能之心,不得不说是缘分,我又和他们交流了很多次,具身领域比之前的市场和技术难度都要大,前期的智驾相关技术可以应用上去,新的大模型技术也在各行各业开花结果,而且整体属于发展初期,总结就是:大有可为。我决定出手,能在当打之年,连续踩到行业发展的红利是可遇不可求的,于是继续准备面试。
具身智能之心知识星球
再一次帮助了我,短时间内完成了各项准备,拿到了字节、阿里、智元等多家公司的offer。风口上,结识更多的同道中人相互交流非常重要,压力不一定是动力,坑也不一定是经验。
具身智能,我们从这里开始...
接下来说说我们自己,24年的7月份,团队几个小伙伴围着一个
宇树机器狗的
视频看了起来,做着各种高难度的动作,想象着后面所有可能的应用。不禁感叹,具身智能有点像16年的自动驾驶,一切都那么有希望。于是乎,还是想多为行业做点事情,我们就想筹划做起来具身智能之心。
半年的时间,我们具身智能之心知识星球做到了近1000人的规模。从开始接触西湖大学、清华大学、港科大、新加坡国立、斯坦福等高校,到陆续邀请了各家公司与其它高校,足足100+机构了。目前近30个嘉宾答疑,满满的安全感,我们的具身智能从这里开始了......
具身智能广义上是指具有物理身体的智能体,能够与环境进行互动,感知周围世界,自主学习、决策并执行任务。说到这里,像人形机器人、四足机器人、机械臂系统、自动驾驶系统算广义上的具身智能,能够感知周围环境并作出反应或执行。GPT这类大模型从狭义上理解,当然也可以算。如果再来看工业界的产品落地,扫地机也是,只是没有那么智能罢了!
无论是特斯拉的擎天柱,抑或波士顿动力的大狗or大牛,都在解决一个事情,那就是通用人工智能。行业期望双足机器人能够类人工作劳动,比如产线机器人、陪伴机器人、服务机器人等;期望多足机器人能够完成搬运、巡检、救援等工作,将人类从无趣或危险的场景中解救出来,减少人力成本。
具身智能开始备受青睐
依托于AI技术的快速发展,以及各类芯片的算力提升。硬件、数据和算法相比于之前纯机器人时代已经有着大幅度提升,更多智能的技术可以快速应用到具身领域,比如自动驾驶领域的端到端、感知、规划等,大模型技术、SLAM这类建图定位、位姿估计、机械臂动力学等等。
如何将多类领先的技术和物理实体结合,是很多顶尖科研机构和机器人AI公司一直在突破的。国外有波士顿动力、特斯拉擎天柱这类具有代表性的四足和人形机器人;国内像宇树科技、云深处、智元机器人、还有各大厂的机器人实验室都在不断攻克难关,期望能够推动社会的生产变革。
软件算法与硬件都具备较高的感知和实时能力,资本自然也非常看好,可以说具身的市场绝不亚于那时的自动驾驶,相关的融资事件与岗位招募逐渐拉升,前景满满,也促使了相当多的从业者转向具身智能。
具身智能知识星球
具身智能之心知识星球是国内首个具身智能开发者社区,也是目前该领域最大的知识付费社区,已经近1000人啦!创建的出发点是给大家提供一个具身相关的技术交流平台。星球内部主要关注
具身智能相关的数据集、开源项目、 具身仿真平台、大模型、视觉语言模型、强化学习、具身智能感知定位、机器臂抓取、姿态估计、策略 学习、轮式+机械臂、双足机器人、四足机器人、大模型部署、端到端、规划控制
等方向。
我们为大家汇总了
近40+开源项目、近60+具身智能相关数据集、行业主流具身仿真平台、强化学习全栈学习路线、具身智能感知学习路线、具身智能交互学习路线、视觉语言导航学习路线、触觉感知学习路线、多模态大模型学理解学习路线、多模态大模型学生成学习路线、大模型与机器人应用、机械臂抓取位姿估计学习路线、机械臂的策略学习路线、双足与四足机器人开源方案、具身智能与大模型部署等
方向,涉及当前具身所有主流方向。
切记,学习不要单打独斗,有更多人一起学习会更好。
为了促进行业的发展,我们前期希望更多优秀的人加入我们,邀请各位在未来5-10年和我们一起输出相关技术与行业最新干货,欢迎微信扫码关注。
加入星球有哪些福利?
-
第一时间掌握具身智能相关的学术进展、工业落地应用;
-
-
-
-
星球内容一览
0)国内外具身智能高校汇总
星球内部为大家汇总了具身智能多个研究方向的国内外知名实验室,供大家后期读研、申博、博后参考。
1)国内外具身智能公司汇总
星球内部为大家汇总了各类国内外各类具身相关机器人公司,涉及教育、宠物、工业、救援、物流、交互、医疗等方向。
2)具身智能研报汇总
星球内部为大家汇总了大模型、人形机器人等行业相关的研报,第一时间了解行业的发展与工业的落地情况。
3)机器人相关书籍汇总
星球内部汇总了机器人导航、概率机器人、机器人动力学与运动学、路径规划、机器人视觉控制等多个方向的PDF书籍,供大家做基础学习。
4)具身智能零部件品牌汇总
我们内部为大家汇总了机器人行业知名的零部件制造厂商,涉及芯片、激光雷达、相机、IMU、底盘等。
5)开源项目汇总
星球内部针对机器人仿真项目、机器人抓取、机器人控制、具身交互、具身感知等多个领域的开源项目进行了汇总,助力快速上手。
6)具身智能数据集
针对具身感知、触觉感知、导航、问答、大模型、视觉语言模型、端到端、机械臂抓取、控制规划多个领域的开源数据集进行了汇总,再也不用担心找不到可用的数据集了。
7)具身智能仿真平台汇总
星球内部针对通用机器人仿真平台和真实场景仿真平台进行了汇总,机器人仿真这里全都有!
8)强化学习路线汇总
我们为大家汇总了基于LLM的强化学习、可解释强化学习、深度强化学习主流方案,一览各个子领域的应用训练。
9)具身智能感知学习路线
内部针对主动视觉感知、3D视觉感知定位、视觉语言导航、触觉感知等多个任务进行了汇总,具身感知路线,一网打尽。
10)具身智能交互
星球内部为大家汇总了具身智能与环境交互相关工作,涉及抓取、检测、视觉语言模型、具身问答、gaussian splatting等多块内容。
11)视觉语言导航
针对视觉语言导航、规划等多个应用内容,星球内部进行了详细的汇总,关注自动驾驶与机器人应用。
12)触觉感知
我们汇总了触觉感知最新综述、传感器应用、多模态算法集成、数据集等多项内容,让大家对这一前沿应用有着深刻了解。
13)多模态大模型理解
星球内部汇总了大量多模态大模型理解相关内容, 包括但不限于Image+Text到Text、 Video+Text到Text、 Audio+Text到Text、 3D+Text到Text、Many到Text等。
14)多模态大模型生成
除了多模态大模型理解,星球内部也汇总了大量多模态大模型生成相关内容,包括Image+Text到Image+Text、Video+Text到Video+Text、 Audio/Speech+Text到Audio/Speech+Text、Many到Image+Text、Many到Many等。
15)视觉-语言-动作