具身智能被视为当前人工智能(AI)领域最具潜力的方向之一,重点关注智能体感知、学习和与环境动态交互的能力。
近年来,具身智能发展迅猛,在多个领域取得突破进展。然而,
当前大多数具身智能研究聚焦于有限环境如室内场景中,针对城市级别开放真实世界场景的探索较为匮乏
,急需构建相应的模拟平台和基准测试集。
近日,清华大学城市科学与计算研究中心开放发布基于虚幻引擎5的
城市具身智能模拟环境
EmbodiedCity,
专为多模态
大
语言模型
(M
LLM)
和由大语言模型(LLM
)
赋
能
的智能体
而量身定制,
基于真实城市开放场景打造3D城市环境,并进一步针对不同维度和水平的开放空间具身智能能力,构建相应的任务集和数据集,可
支撑真实开放空间具身智能的多类研究任务。
官方网站:https://embodied-city.fiblab.net/
论文链接:https://embodiedagentbenchmark.github.io/agent/static/article/EmbodiedCity.pdf
该平台提供离线运行和在线接入两种方式,既可以下载在不同操作系统本地环境运行,也可以访问智能体在线平台,基于Python SDK调用开发智能体,在平台网页直接编程使用。
EmbodiedCity以北京市国贸区域的真实道路和建筑布局为基础,结合人流和车流的真实数据与模拟算法,基于虚幻引擎5构建了
一个真实、动态、开放的城市具身环境
。
环境中主要包含以下元素:
(1)街道:机动车/非机动车道、十字路口、交通信号灯和人行道,街道布局合理多样。
(2)建筑物:办公楼、购物中心、住宅小区等,细粒度建模还原真实建筑。
(3)其他元素:长椅、路灯、植被以及动态的车辆和行人,城市场景充满活力。
为充分
探索开放环境具身智能体的感知、推理和决策能力
,EmbodiedCity构建了一系列评测任务,既包括代表性的具身任务,涵盖行人模拟、车流模拟、场景理解、问答、对话、导航和规划,也支撑传统的感知、预测、决策等任务。
其中,针对开放空间具身智能构建的任务集如下:
1. 跨模态场景理解
:智能体观察环境元素并给出准确描述,通过在同一位置从不同角度观察,生成一组RGB图像作为输入,得到相应的文本描述。
2. 跨模态问答
:在具身场景理解的基础上,智能体接收有关环境语义和空间信息的自然语言问询,例如,「场景中有多少个建筑?」以及「在当前视角下A建筑是否在B建筑的左边?」输入包括第一视角的RGB图像和有关环境的问题,对问题进行直接文本回答。