港大最新成果！EMOS：基于大模型多智能体的异构多机器人操作系统

作者 | Junting Chen  编辑 | 具身智能之心

点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号

>> 点击进入→ 自动驾驶之心 『 BEV感知 』 技术交流群

本文只做学术分享，如有侵权，联系删文

写在前面&出发点

当人类进行团队协作的时候，为了协作效率，总是根据任务的需求和协作成员自身的背景能力，讨论协商包括任务分配在内的协作方案 。对于协作异构机器人系统 (Cooperative Heterogeneous Multi-robot Systems)，如何去协作往往基于专家设计和编写的一套固定协作逻辑。然而开放世界任务的复杂性，越来越丰富的机器人硬件，对人工设计规则的多机协作系统扩展性构成了极大的挑战。

近日，来自新加坡国立大学、香港大学、上海人工智能实验室、牛津大学、CAMEL-AI社区等多家机构的联合研究团队提出了一种创新的异构多机器人操作系统EMOS(Embodiment-aware Heterogeneous Multi-robot Operating System)。 该框架基于大语言模型的多智能体系统 (LLM-based Multi-agent System)，以机器人物理定义文件和环境信息为输入，实现了对机器人空间物理能力和任务需求的理解，从而实现了更有效的任务规划，并利用大模型工具调用（Function Call）能力，进行多机系统分布式动作的执行 。

同时 该工作提出了 Habitat-MAS 评测基准，包含多种任务，例如跨楼层物体导航、协作感知、单层家庭重新排列和多机器人、多物体、跨楼层协作重新排列 。实验结果表明，EMOS 框架在 Habitat-MAS 基准上取得了优异的性能，证明了其有效性。

论文地址：https://arxiv.org/abs/2410.22662

研究背景与动机

现有的异构多机器人系统(HMRS)在处理复杂任务时面临两大挑战:

1. 高度依赖人工设计的协议, 泛化能力有限
2. 自动化程度不足, 任务拆解和子任务的分配尚未实现完全自动化

由于每个机器人的硬件差异(如轮式、腿式或飞行平台)，如何让各自的物理特性得以充分利用并进行有效协作，也是一大难题。比如轮式机器人不能通过楼梯跨楼层移动，不同机器人深度相机的位姿对能感知的物体空间范围有很大影响，不同机器人机械臂工作空间决定了能抓取到的物体高度，水平距离等。为解决这些问题，研究团队提出了基于LLM的多智能体框架EMOS，通过"机器人简历"机制实现对机器人物理能力的精确理解，从而实现更智能、自主的任务规划与执行。

主要方法介绍

机器人简历(Robot Resume)机制

EMOS 摒弃了传统的人工角色分配方式，通过大模型阅读分析以及前向运动学工具（Forward Kinematics Tools）调用的混合方法理解URDF文件，生成包含机器人移动能力、感知能力和操作能力的“机器人简历”。这些基于运动学计算的统计数据和数字数据，在后续会作为机器人代码生成的context 输入，去实现精确的空间检查和空间推理。比如一个物体是否可能超出了机器人抓取的范围。