专栏名称: 机器人大讲堂

机器人大讲堂是立德共创服务平台旗下引领行业发展的新媒体平台，已举办多种形式系列活动近百场，行业媒体矩阵垂直粉丝20万余人；立德研究院承接智库咨询和科研项目；立德孵化基于顶尖专家优势形成早期高技术成果产业化。

卡内基梅隆大学联手谷歌DeepMind 使机器人能够创造性地使用工具

机器人大讲堂 · 公众号 · · 2024-02-21 17:00

正文

机器人与人类的思维方式有本质不同，例如当一种食材置于储物架上方难以徒手够到，人类仅需花费数秒时间，就能寻找到板凳或梯子，站上去将其拿下。 这种简单的解决方案是一种复杂问题解决方法的结果，研究人员称之为创造性工具使用。

尽管使用工具用于预期用途是一项非常拥有的技能，但创造性地使用工具不仅依赖于识别工具和有效使用工具的能力，还依赖于预测结果的倾向。 在所有动物当中，仅有人类可以掌握这种判断技能。这也使得人类成为高级智能的标志。

近日， 卡内基梅隆大学机械工程系的研究人员与谷歌 DeepMind 合作 ，提出了这样一个假设—— 人类懂得如何创造性地使用工具，那么我们是否也能教会机器人如何使用工具呢？

研究人员表示，"创造性地使用工具根本挑战在于，它是一个未知的未知问题，也就是说没有示范。否则机器人只能做到学习，却不能创造技能，因此我们必须引入外部知识，以此来帮助机器人进行头脑风暴， LLMs大语言模型成为实现这一目标的最佳载体。 ”

RoboTool生成可执行的Python代码

为深入探索这个问题， 研究人员构建了RoboTool，这是一个以大型语言模型（LLMs）为基础的创造性工具应用系统。 该系统能够接纳关于机器人环境的自然语言指令，包括工作区域内物体的尺寸和位置等与机器人相关的约束条件。接着，RoboTool会生成可直接执行的Python代码，作为完成任务的具体方案。

卡内梅基隆大学机械工程专业的博士生徐梦迪表示，“现有模型为机器人提供具体指令，如使用这把叉子吃那个蛋糕，机器人会在限定范围之内进行指令性的操作。而我们则为机器人设定更高层次的指令，比如吃蛋糕。”

研究小组分别使用机械臂和 宇树四足机器人Go1来布置三项任务，包括选择工具、连续使用工具和制造工具， RoboTool就是在这种情况下进行测试的。

RoboTool测试机械臂与四足机器人

具体测试方面，为了让机器人对工具的选择进行评估，研究人员将牛奶盒放置在了机械臂抓取不到的地方。同时要求四足机器人从一个沙发行走到另一个沙发，两个沙发之间留有一定空隙，以及如何将立方体纸盒抬起。这些测试均需要机器人从多个选项中选择适合的工具使用才能成功，团队展示了对物体大小和形状的广泛理解的能力，以及分析这些属性与通过测试这一最终目标之间关系的能力。

顺序工具测试挑战，要求四足机器人按照特定顺序使用工具来完成任务，机器人需要将积木移到一起才能爬上沙发。机械臂测试当中，需要让机器人使用棍子将罐子推到纸上，从而让罐子拉到触手可及的位置。

四足机器人先顶开红色的椅子后利用杠杆原理让立方体纸盒抬离地面

工具制造要求机器人利用现有材料制作工具来完成任务，例如使用脚板和管子制作一个杠杆来抬起一个立方体。这项测试要求机器人辨别物体之间的隐含联系，并通过自行操作组装部件。这种能力在机器人技术中非常重要，因为它能让机器人能够实现原本看似难以完成的任务。

今后， 该团队将在系统中加入视觉模型，从而获得更强的感知和推理能力。 研究人员还希望开发更多互动方式，让人类参与并指导机器人创造性地使用工具。

----------------END----------------

工业机器人企业

服务与特种机器人企业

医疗机器人企业

人形机器人企业

核心零部件企业

教育机器人企业

卡内基梅隆大学联手谷歌DeepMind 使机器人能够创造性地使用工具

正文

请到「今天看啥」查看全文