降维打击！斯坦福李飞飞团队 x 星海图：最新发布BRS框架，代码+数据集全部开源！

作者 | 深蓝学院-具身君 编辑 | 深蓝具身智能

点击下方 卡片 ，关注“ 3D视觉之心 ”公众号

>> 点击进入→ 3D视觉之心技术交流群

上图，源自昨天星海图官方账号发布的一则视频。

宣布与斯坦福联合 推出： 面向家务劳动的全身移动操作机器人套件方案 ， BEHAVIOR Robot Suite (BRS) 框架。

并且将论文的所有代码和数据全部开源！

项目地址：behavior-robot-suite.github.io

家庭环境复杂多变，对于机器人来说，完成诸如清洁、整理等日常家务任务，需要具备高度的 全身协调控制能力、稳定精确的导航能力 以及 广泛的末端执行器可达性 。

“机器人学习领域的「圣杯」之一，是 执行可泛化的日常家庭移动操作任务 。”——李飞飞

2、用于学习全身视觉运动的 WB-VIMA 。

▲图1 | BRS硬件系统。左图使用的GalaxeaR1机器人；右图全身遥操作界面©️【深蓝具身智能】编译

为了实现对具有 大量自由度的移动机械手的无缝控制，并促进下游策略学习的数据收集 ，引入了 JoyLo（Nintendo Switch手柄），通过与Galaxea R1机器人配合，实现了高效的数据采集。

• 高效的全身控制，协调复杂的动作;

• 丰富的用户反馈，实现直观的远程操作;

• 确保政策学习示范的高质量;

• 低成本实施，增强无障碍性;

• 实时、用户友好的控制器，可实现无缝操作。

• 首先预测移动底座的动作；
• 再根据底座的预测动作来调整躯干的动作；
• 最后在底座和躯干动作的基础上，预测手臂的动作。

此外，WB-VIMA 使用自注意力动态聚合多模态观察，使其能够学习表达策略，同时减轻对本体感受输入的过度拟合。