3月26日,
傅利叶官方视频号更新了一条GR-1通用人形机器人表演架子鼓的视频
。视频本身仅有1分41秒,但在上线一小时之后,就收获了上百位网友点赞和转发。
试想一下,要让人形机器人学会架子鼓技能绝非一件容易的事情,这其中涉及到机械工程、传感技术、运动控制、人工智能、音乐理论等多个领域的知识和技术,并且更加考验人形机器人的智能化程度。
▍
人形机器人演奏架子鼓需要传感器与运动算法突破 更需要AI加持
想要人形机器人能够准确感知节奏,就需要先进的传感器技术和精准的运动控制,机器人需要具备运动感知、视觉感知、以及音频感知能力,通过视、听、触觉来进行实时反馈。不过这些技能都难不倒傅利叶GR-1通用人形机器人。
傅利叶智能
GR-1集成多个传感器
傅利叶GR-1头部单元拥有环形麦克风语音识别系统,面部区域搭载Intel RealSense深度感知相机、扬声器与显示模块
,具备看听说能力。
该机器人全身最多达54个自由度,其中手臂自由度为7x2,腿部自由度为6x2,灵巧手自由度为11x2,同时腰部和头部各有3个自由度
,进而保证了傅利叶GR-1人形机器人能够模拟人类不同运动方式,包括跑步、跳跃、转头、抓取、扭腰等操作,当然也包括了我们上面看到的敲击架子鼓的动作。
傅
利叶智能GR
-1拥有多达54个自由度
机器人本体硬件是智能化的基础,但真正让GR-1实现架子鼓技能的是背后复杂的算法与人工智能技术。以往人形机器人会采用固定化编程方式进行动作的输出与设定,
但随着
多模态大模型
的加入,人形机器人在学习技能方面有了全面的突破。
▍
得益于英伟达通用人形机器人大模型Project GR00T GR-1学习效率翻倍
以美国Figure 01来看,在融合
Open AI
之后,该机器人拥有超强自主学习能力,能够在无需事先预设程序下完成指定任务,并且具备泛化学习特征。此前曝光的冲煮咖啡和与人类语音交互抓取苹果等动作就是通过其多模态大模型加入进行训练的。
而在视频最后部分,我们也看到了GR-1演奏架子鼓的幕后花絮,其背后由一位人类进行演奏示范,
该机器人学习采用了英伟达通用人形机器人大模型Project GR00T
,能够通过观看人类示教进行技能的学习,并且具备一定的泛化学习能力。
该模型为前不久NVIDIA GTC大会发布。傅利叶智能GR-1人形机器人作为该
模型驱动
的人形机器人在现场进行展示。
业内人士小强(化名)对记者表示:“傅利叶智能GR-1为我们完美地呈现了一场架子鼓表演,
GR-1不仅实现了动态环境下的手、脚、眼、脑、协调控制,同时也再次展示了大模型赋能人形机器人快速模仿学习的能力
,让大众再次刷新对具身智能的认知。相信在不久的将来,具身智能人形机器人通过模仿学习人类一次动作,即可轻松掌握人类技能来完成相关工作任务。”
▍
结语与未来:
人形机器人下半场是具身智能,而提升具身智能的具体落地表现形式在于多模态大模型与人形机器人相结合。
令人欣慰的是,NVIDIA GTC 2024大会上,我们看到了三家中国企业的人形机器人出现在舞台上,并且加入了英伟达通用人形机器人大模型的初期探索。我们与欧美人形机器人第一梯队的差距正在减小。
2024年我们将会看到更多国产人形机器人商业化落地验证。而机器人的智能化程度以及泛化性也会呈现指数级成长,具身智能时代已然到来,你准备好了吗?