【新智元导读】
由业内大佬Amnon Shashua创立的Mentee Robotics，突然放出大招，将AI的能力嵌入到机器人的各个层面，实现了与世界的动态交互。
前段时间，由业内大佬Amnon Shashua创立的Mentee Robotics，在憋了两年之后，突然放出大招！
这是一款名为Menteebot的人形机器人，将AI的能力嵌入到机器人的各个层面，实现了与世界的动态交互。
Menteebot集成了尖端的Sim2Real学习（以获得逼真的步态和手部运动）、基于NeRF的实时3D映射和定位（用于复杂环境中的动态导航），以及大型语言模型（帮助认知世界和执行高级任务）。
Menteebot实现了从口头命令，到复杂任务完成的完整端到端循环，包括导航、运动、场景理解、对象检测和定位、抓取以及自然语言理解。
比如在下面的例子中，Menteebot的手臂和手呈现出全方位的运动和足够的准确性，可以执行递盘子这种精细的任务。
完美复刻人类的「灵巧手」：
先进的Sim2Real学习技术让Menteebot的动作非常敏捷，可以像人类一样朝任何方向行走、奔跑、原地转弯等。
来几个并步，扎个马步，都不在话下：
Menteebot在搬运重物时会自动调整步态，如同人类一般。
——辛苦了小老弟，交给我吧：
此外，Menteebot的名字还有另一个含义：
you can mentor
（通过口头指示和视觉模仿即时学习新任务）。
它可以直接接受用户的语音指令，使用LLM来解释命令并「思考」完成任务所需的步骤。
然后，使用基于NeRF的算法，实时构建环境的认知3D地图，完成有关对象和项目的语义信息，并在地图中定位自身，同时规划动态路径以避开障碍物。
最后，它利用在Sim2Real中学到的知识，在路径上执行计划步骤，——简单来说，就是在模拟器中训练，在现实世界中实现。
上图是Menteebot成品的效果图和各项参数，它将被设计为两种类型：
命比较好的机器人会成为家庭助理，负责餐桌布置、餐桌清理、衣物处理等家务工作；
而命不好的就会进厂打工，干一些重活。
尽管Menteebot目前仍处于原型阶段，但有大佬的背书，我们可以期待在不久之后见到更加惊艳的效果。
Amnon Shashua
Mentee Robotics的创始人Amnon Shashua，1993年在麻省理工学院（MIT）获得大脑和认知科学博士学位，1996年之后一直在耶路撒冷希伯来大学（The Hebrew University of Jerusalem）计算机科学系任教。
除了学术大佬之外，Amnon Shashua还是多家著名科技公司的创始人：
自动驾驶技术公司Mobileye的总裁兼首席执行官；
视觉设备公司OrCam的联合创始人；
ONE ZERO数字银行的创始人和所有者；
人工智能公司AI21 Labs的联创、董事长。
除Shashua之外，Mentee Robotics的创始团队还包括前Facebook AI研究总监Lior Wolf，和耶路撒冷希伯来大学教授、现任Mobileye首席技术官的Shai Shalev-Shwartz。
到目前为止，团队已经筹集了1700万美元，由Ahren Innovation Capital领投。
也许，新的纪元已经开启，就如Amnon Shashua所言：
We are on the cusp of a convergence of computer vision, natural language understanding, strong and detailed simulators, and methodologies for transferring from simulation to the real world.
我们正处于将计算机视觉、自然语言理解、强大而详细的模拟器、以及从模拟转移到现实世界的方法相融合的风口浪尖。
最近几个月，越来越多的项目使用大语言模型，来创建以前似乎不可能的机器人应用程序。
在LLM的加持之下，机器人可以处理自然语言命令，并完成需要复杂推理的任务。
感知和推理
创建机器人系统的经典方法需要复杂的工程，来创建规划和推理模块。
另外，用户界面的设计也很困难，因为人们可以用不同的方式说出相同的指令。
——而LLM，包括视觉语言模型（VLM）的出现，完美解决了这些问题。
朝这个方向迈出的第一步的是Google Research的SayCan项目。
SayCan使用LLM的语义知识来帮助机器人进行推理，并确定哪些动作序列可以帮助完成任务。
论文地址：https://arxiv.org/pdf/2204.01691.pdf
在论文中，Google Research与Everyday Robots合作开发了新的方法：利用先进的语言模型知识，使物理代理（如机器人）能够遵循高级文本指令，同时将LLM建立在特定现实世界环境可行的任务中。
实验中，研究人员将机器人放置在真实的厨房，用自然语言发出指令。对于时间扩展的复杂和抽象任务，SayCan可以给出高度可解释的结果。
人工智能和机器人研究科学家Chris Paxton表示，使用LLM和VLM使感知和推理更加容易，这让很多机器人任务看起来比以前更可行。
串联现有功能
经典机器人系统的一大局限性是需要明确的指令。
而LLM能够将松散定义的指令，映射到机器人技能范围内的特定任务序列。许多前沿模型甚至可以在不需要训练的情况下完成这些任务。
Paxton表示，通过LLM，机器人可以将不同的技能串在一起，并推理出如何使用这些技能。
像GPT-4V这样的新视觉语言模型，将在未来与机器人系统相结合，发挥广泛的应用。
一个例子是GenEM，由多伦多大学、Google DeepMind和Hoku Labs联合开发。
GenEM使用GPT-4对环境进行推理，并根据机器人的可负担性确定它应该从事什么样的行为。
论文地址：https://arxiv.org/pdf/2401.14673v2.pdf
它可以利用LLM训练数据中包含的大量知识以及上下文学习能力，并能够将操作映射到机器人的API调用。
例如，LLM知道向人们点头致意是一个礼貌的行为，就可以操作机器人上下移动头部。
另一个项目是OK-Robot，一个由Meta和纽约大学创建的系统：
论文地址：https://arxiv.org/pdf/2401.12202.pdf
它将VLM与运动规划和对象操作模块相结合，能够在机器人从未见过的环境中执行拾取和放下操作。
随着语言模型能力的不断增强，一些机器人初创公司抓住机遇，重新点燃了市场的希望。
比如，与OpenAI合作的Figure：
不过话又说回来，大模型可以作为机器人的大脑，但真正办事的还得是身体，人形机器人这一套工程的门槛还是挺高的。
另外，对于当前的模型来说，数据可能是最重要的，完善机器人相关的数据集也是任重而道远。
专用基础模型
