如何让机器人操作任务在任何位置都能work?清华新国大团队发现空间泛化Scaling Laws!

ManiBox 深入探索了 具身智能的空间泛化性 Scaling Laws ，首次揭示了操作任务中的两大关键关系：

• 成功率与数据量 呈现出米氏-曼特恩 （Michaelis-Menten）动力学曲线 ：

  📌 在成功率比较低的时候，增加数据量可以显著提升成功率；

  📌 成功率达到80%-90%之后，数据量即使再继续增加，模仿学习策略的成功率也逐渐趋于饱和，上升缓慢；

• 数据量趋于无穷的情况下，成功率趋于100%。

• 成功率与数据量的关系用公式表示为：

• success_rate= 100% * D / (K_m + D)，其中D是数据量，K_m是达到50%成功率所需的数据量。

• 空间泛化所需数据量与空间体积 呈现 幂律关系 ，即更多数据可显著提升更大空间范围内的泛化能力。

  📌比如如果要扩展到x倍的空间体积，那么数据量需要扩展大约x^0.35倍。

  📌在文中的setting中，34400cm^3相对于1cm^3，前者空间泛化所需的数据量是后者的34400^0.35=38倍。

• ManiBox 通过 policy generalization 方法来有效解决了空间泛化性问题，确保策略能够在多样化的环境中表现出强大的适应性——即便视觉模型存在较大的不确定性。

  借助 YOLO-World这样的开集边界框检测模型 ，ManiBox  精准提取多视角的低维空间信息，将复杂的高维视觉问题转化为简化的状态建模问题，从而为策略训练提供了坚实的基础。

  最终，通过训练一个基于状态的策略（state-based policy），实现了从仿真到真实世界的高效迁移。

• 结合 随机掩码（random mask）技术 和 历史轨迹信息 ，ManiBox显著提升了策略在应对视觉噪声和检测失败场景下的鲁棒性，进一步加强了模型的泛化能力和在真实环境中的表现。

• 教师策略： 通过强化学习与模仿学习相结合的框架，ManiBox可以做到2h训练完强化学习策略，仅用 一天时间 自动化采集了 36,000条高质量模拟数据 ，涵盖多种物体形状、大小和空间配置。

• 学生策略： 在此数据上训练，仅需 2 分钟 即可完成模型学习，达成零样本迁移，在真实场景中高效部署。

• 基于强化学习的操作策略，相比传统的视觉方法可以有更强大通用性和鲁棒性，比如传统的视觉方法需要利用IK（逆运动学）求解joint position，然而利用IK的方法一方面难以处理复杂任务比如倒水，另一方面IK难以成功覆盖机械臂全空间，在边缘处经常存在奇异解而失败。

• 空间泛化 ：ManiBox实现了从固定点到 34440cm³ 最大操作空间范围的高效覆盖，抓取成功率高达 90% 。

  
  

• 物体泛化 ：无论是苹果、钢杯，还是玻璃烧杯，ManiBox对各种形状、大小的物体都能精准抓取。

  
  

• 背景泛化 ：面对各种背景挑战，无论是不同颜色桌布、复杂桌面，还是动态光源和视频干扰，ManiBox始终表现稳定。

  
  

ManiBox 的强大适应性让其轻松扩展至复杂操作任务，并在真实环境中成功完成了（注：以下视频均为2倍速）：

• 倒水： ManiBox不仅能抓取，通过修改teacher policy，还能实现不同瓶子的倒水。精准调整角度与力度，实现平稳且可控的液体倾倒；

• 抓取半空中物体： 灵活应对动态目标；

  
  

• 杂乱桌面抓取： 在拥挤环境中精准抓取；

  
  

• 抓取杯子把手： 精细操作复杂物体的局部。