大规模具身多模态三维感知 | 上海人工智能实验室青年科学家王泰博士演讲预告

12月5-6日，2024中国生成式AI大会（上海站）「GenAICon 2024」将在上海中星铂尔曼大酒店盛大举办。 中国生成式AI大会已成功举办两届，迅速成长为国内生成式AI领域最具影响力的产业峰会之一。

此次也是中国生成式AI大会首次登陆上海举办，由智一科技旗下智能产业第一媒体 智东西 、AI与硬科技知识分享社区 智猩猩 共同发起。本次大会的指导单位是 上海市人工智能行业协会。

大会上海站将设置 “主会场峰会+分会场研讨会+展览区” 。主会场将进行大模型峰会、AI Infra峰会，分会场将组织端侧生成式AI、AI视频生成和具身智能三场技术研讨会。主会场与分会场外则设有展览区。

上海站以“智能跃进 创造无限”为主题，将邀请50+位嘉宾带来致辞、演讲、报告和对话讨论，以前瞻性视角为大家解构和把脉生成式AI的技术产品创新、商业落地解法、未来趋势走向与前沿研究焦点。

在分会场次日下午进行的具身智能技术研讨会上， 上海人工智能实验室青年科学家王泰博士 将带来报告，主题为 《大规模具身多模态三维感知》 。

近年来，大模型的成功以及模仿学习、强化学习等方法的突破持续推动着具身智能的快速发展。但这一领域仍然面临着数据匮乏的核心问题，大规模训练和评测仍存在客观瓶颈。生成式 AI 的进展为解决这一问题提供了重要路径。

本报告将聚焦于三维场景中具身多模态感知相关的具体任务，详细介绍团队利用多模态大模型的生成能力设计三维多模态数据的自动化标注管线，从而形成大规模三维物体、场景在不同粒度全方位的语料标注，构建带有显式三维建模和空间感知能力的具身感知基础模型，并最终利用大模型实现更符合人类判断的自动化评测。最后，报告将展望生成式 AI 在机器人交互数据方面的巨大潜力，同时探讨其潜在的局限性。