专栏名称: 学术头条
致力于科学传播和学术分享,关注计算机科学、认知科学、人工智能科学、神经科学、脑科学等学科领域。我们从跨学科的角度,围绕“认知智能”向科学界和大众介绍相关领域的前沿话题和深度解读。
目录
相关文章推荐
高分子科学前沿  ·  同济大学AFM:限域效应优化电化学膜中微污染 ... ·  19 小时前  
高分子科技  ·  北化贾晓龙/杨小平团队、南昆大王浩团队 ... ·  2 天前  
高分子科技  ·  南京林业大学陈楚楚 Carbohyd. ... ·  3 天前  
高分子科技  ·  中科院理化所江雷院士、王京霞研究员团队 ... ·  5 天前  
51好读  ›  专栏  ›  学术头条

清华团队发布首个「真实开放环境具身智能环境」EmbodiedCity

学术头条  · 公众号  ·  · 2024-10-15 12:07

正文


具身智能被视为当前人工智能(AI)领域最具潜力的方向之一,重点关注智能体感知、学习和与环境动态交互的能力。


近年来,具身智能发展迅猛,在多个领域取得突破进展。然而, 当前大多数具身智能研究聚焦于有限环境如室内场景中,针对城市级别开放真实世界场景的探索较为匮乏 ,急需构建相应的模拟平台和基准测试集。


近日,清华大学城市科学与计算研究中心开放发布基于虚幻引擎5的 城市具身智能模拟环境 EmbodiedCity, 专为多模态 语言模型 (M LLM) 和由大语言模型(LLM 的智能体 而量身定制, 基于真实城市开放场景打造3D城市环境,并进一步针对不同维度和水平的开放空间具身智能能力,构建相应的任务集和数据集,可 支撑真实开放空间具身智能的多类研究任务。


官方网站:https://embodied-city.fiblab.net/

论文链接:https://embodiedagentbenchmark.github.io/agent/static/article/EmbodiedCity.pdf


该平台提供离线运行和在线接入两种方式,既可以下载在不同操作系统本地环境运行,也可以访问智能体在线平台,基于Python SDK调用开发智能体,在平台网页直接编程使用。




EmbodiedCity模拟环境


EmbodiedCity以北京市国贸区域的真实道路和建筑布局为基础,结合人流和车流的真实数据与模拟算法,基于虚幻引擎5构建了 一个真实、动态、开放的城市具身环境




环境中主要包含以下元素:


(1)街道:机动车/非机动车道、十字路口、交通信号灯和人行道,街道布局合理多样。




(2)建筑物:办公楼、购物中心、住宅小区等,细粒度建模还原真实建筑。



(3)其他元素:长椅、路灯、植被以及动态的车辆和行人,城市场景充满活力。





城市具身智能任务基准测试集



为充分 探索开放环境具身智能体的感知、推理和决策能力 ,EmbodiedCity构建了一系列评测任务,既包括代表性的具身任务,涵盖行人模拟、车流模拟、场景理解、问答、对话、导航和规划,也支撑传统的感知、预测、决策等任务。



其中,针对开放空间具身智能构建的任务集如下:


1. 跨模态场景理解 :智能体观察环境元素并给出准确描述,通过在同一位置从不同角度观察,生成一组RGB图像作为输入,得到相应的文本描述。


2. 跨模态问答 :在具身场景理解的基础上,智能体接收有关环境语义和空间信息的自然语言问询,例如,「场景中有多少个建筑?」以及「在当前视角下A建筑是否在B建筑的左边?」输入包括第一视角的RGB图像和有关环境的问题,对问题进行直接文本回答。








请到「今天看啥」查看全文