上交大卢策吾教授团队博士生方泓杰：基于人类示范数据的高效机器人模仿学习 | 具身智能前沿讲座预告

近年来，基于人类示范数据的机器人模仿学习技术取得了显著进展，展现出了巨大的应用前景和发展潜力。然而，如何使这一过程更加高效，并得到更加通用的机器人操控策略，目前依然是一个挑战。提高真实世界中人类示范数据收集的效率，对于实现高效的模仿学习至关重要。

为此，上海交通大学卢策吾教授团队提出了大规模真实世界机器人操控数据集RH20T，包含超过11万个接触丰富的机器人操控轨迹，涵盖多种技能、场景、机器人和摄像机视角。这些轨迹通过人类遥操作收集，为模仿学习算法提供了丰富多样的资源。与RH20T相关的论文成果收录于 RSS 2023 和 ICRA 2024 。

为了降低规模化双臂数据采集的成本，上交大卢策吾教授团队联合上海AI Lab引入了低成本的外骨骼系统AirExo。与AirExo相关的论文收录于 ICRA 2024 ，其中上海交通大学与上海AI Lab联培博士生方泓杰为论文一作。

AirExo旨在采集野外环境中的双臂操作数据，减少机器人操控策略对于遥操作数据的需求，使低成本规模化双臂数据采集成为可能。该系统使机器人仅通过3分钟的遥控演示和收集到的野外数据学习的效果，超越了从20多分钟遥控演示中的学习效果。

在模仿学习方面，穹彻智能联合上交大卢策吾教授团队提出了基于3D感知的真实世界机器人操控策略RISE，显著提升了机器人操控策略对物体位置以及相机视角变化的泛化能力。与RISE相关的论文收录于 IROS 2024 。

RISE通过3D感知，能够有效地提取空间信息，并在多个机器人操作任务中取得了优于2D和3D基线方法的性能。并且，在不同物体位置、新工作空间和新相机视角下都表现出良好的泛化能力，增强了其在真实世界部署中的鲁棒性。

为进一步提高人类示范数据的利用效率，上交大卢策吾教授团队联合上海AI Lab又提出了具有极强泛化性的操控策略CAGE。该策略能利用仅50条单平台单相机视角采集的数据，无需任何预训练，即可将技能迁移至不同机械臂、不同相机视角和背景环境中。CAGE能够使机器人实现更加高效且通用的模仿学习，为机器人操控策略在复杂多变的真实环境中的应用提供了有力支持。

11月26日晚7点，智猩猩邀请到 上海交通大学与上海AI Lab联培博士生方泓杰 参与「智猩猩具身智能前沿讲座」第16讲，主讲《 基于人类示范数据的高效机器人模仿学习 》。

方泓杰

上海交通大学与上海 AI Lab联培博士生

方泓杰，上海交通大学计算机科学与工程系与上海人工智能实验室联培博士生，师从卢策吾教授。他于2022年获得上海交通大学计算机科学与工程学士学位，其研究兴趣主要集中在机器人操控与抓取领域，尤其关注基于人类示范的模仿学习技术，致力于提升机器人在复杂环境中的通用操作能力，使机器人能够更加精准和高效地完成多样化任务。

曾参与通用抓取算法AnyGrasp以及Open X-Embodiment大型数据集等项目（ICRA 2024最佳论文）。在ICRA、IROS等机器人领域会议以及T-RO、RA-L等期刊上发表近10篇论文。