Meta开源基于Project Aria眼镜和Quest 3头显采集的数据集HOT3D

基于Project Aria眼镜和Quest 3头显采集

（ 映维网Nweon 2025年01月06日 ）Meta日前开源了一个基于Project Aria眼镜和Quest 3头显采集的数据集HOT3D，从而帮助训练机器人。

大多数人类可以熟练地使用双手来执行一系列的操作，而尽管已有了巨大的进步，但现有的机器人系统在这方面依然有待提升。所以，世界各地的研究团队一直在探索相关的优化方法，包括提供基于VR采集的自中心训练数据。

实际上，从特斯拉到英伟达，再到小鹏，一系列的厂商都有探索利用XR来帮助训练机器人。通过利用头显，人型机器人可以1：1地复刻映射人类操作员的动作，而软件可以以实现第一人称视频的实时传输和精确控制输出。另外，这种解决方案具有可扩展的远程数据收集的优势，因为来自世界各地的注释人无需前往现场就可以为项目作出贡献。

日前，Meta Reality Labs开源了一个可以帮助加速机器学习研究的全新数据集HOT3D。

相关数据是通过Project Aria眼镜和Quest 3头显采集，包含了高质量的以自中心人类用户抓取和操纵各种物体的3D视频，可用于帮助分析手与对象的交互。

其中，数据集提供了超过833分钟（超过3.7万张图像）的图像流，涉及19名被试与33种不同的对象交互，并包含多模态信号，全面的ground truth注释，以及手和对象的3D模型。

另外，为了评估HOT3D数据集在机器人和计算机视觉研究中的潜力，研究人员用它来训练三个不同任务的基线模型。他们发现，与其他模型相比，使用HOT3D进行训练的相关模型的表现要好得多。

团队指出：“在我们的实验中，我们证明了多视角自中心数据在三个流行任务中的有效性。”

相关论文 ：HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos