点击上方“
3DCV
”，选择“星标”
干货第一时间送达
内容来自知乎，「3DCV」整理，如有侵权请联系删除 https://zhuanlan.zhihu.com/p/5777752031，作者：位德浩
数据采集方式当前主要分为VR遥操作数据采集系统，数据手套遥操作系统，机械臂主从控制数据采集系统。这里分别进行一些讨论。
1. VR遥操作数据采集系统
VR遥操作数据采集系统主要是通过VR设备，将VR手柄或者是人手姿态映射到机械臂夹爪 灵巧手上的控制，这类遥操作也是目前使用最为广泛的遥操作方案，优点是采集到的数据精度高，缺点是采集成本高昂。一套VR设备+底盘+六自由度机械臂+末端执行器
的价格在20万以上，加上数据采集的人力成本，数据成本高昂。
fig 1 基于apple vision pro 遥操作
技术上是通过VR设备解算人手的空间位姿和手指各关节的位置，然后通过正逆运动学解算将其映射到机械臂和灵巧手上。像著名的open x embodiedment 数据集绝大部分是通过遥操作实现的，集成了超过311个场景下的100万条轨迹，包括了22种不同的embodiments，在数据的加持下，机器人操作的模型能力得到了显著的增强，在一些任务上甚至达到了75.8%。但是如此大规模的数据集
仍然因为数据采集标准的难以归一化，导致使用不同来源数据时需要做出一些取舍。由于大部分的数据并没有触觉信息，因此在数据训练过程中只能丢失掉一些触觉数据
信息。
暂时无法在飞书文档外展示此内容
2. 数据采集手套
数据手套
主要分为三类：光学数据手套，惯性数据手套和光纤数据手套。
2.1 惯性数据手套
其中最常用的是惯性数据手套。其工作原理是通过内置的陀螺仪和磁力计来感应佩戴者手部的动作，这一过程不需要任何红外摄像头的参与。但是由于应用磁力计的原因导致惯性数据手套对于磁场相当敏感，在有外界磁场（金属或者磁铁）干扰的情况下惯性传感器会出现飘逸的问题。但由于自动滤波技术的发展以及动作采集软件方面的升级，想Xsens和Manus这样的头部厂商已经可以将漂移情况降为0。
知名厂商：Xsens, Manus, VRTRIX, Handy。Tiago研发的纯动作捕捉手套使用了11个IMU传感器实现全手的位姿跟踪。其中Manus数据手套的种类颇多，MANUS手套的优点在于其能反馈手指末端的机械手
2.2 光学数据手套
第二种比较常见的数据手套是光学数据手套，这种数据手套哇曾通常会带有反射红外线或者自发光的小球，在动作捕捉的过程中通过外置的多个红外传感器对手套表面的小球进行定位，从而可以精确的动作捕捉数据。但是小光球容易被遮挡导致数据缺失，对需要配备的红外摄像机的分辨率和帧率要求较高。数据更加精准，但是价格也会比较高。
知名厂商：ART PhaseSpace
2.3 光纤数据手套
主要运用光纤作为数据手套的感应设备，具有超高的数据精度。光纤数据手套一般在每只手中配备18-22个横向和纵向分布的光纤传感器，能够捕捉到几位精准的动作数据。
知名厂商：5DT, CyberGlove，WISEGLOVE
数据手套能用来采集手部的位姿，当然也可以用来遥操作机械手，使用数据采集手套将人手动作映射到灵巧手上，进行遥操作。
DATA GLOVE：数据手套分类和简介 - 位德浩的文章 - 知乎
https://
zhuanlan.zhihu.com/p/63
5065768
无远弗届数据手套
http://www.
vrtrix.com.cn/product/d
ata-gloves/?bd_vid=10600155858713277282
机械臂的主从控制遥操作方案的代表是aloha机器人。
具体而言，首先他们提出了一个低成本且全身的远程操作系统
——Mobile ALOHA，用于数据收集。该系统运用了一个移动基座（即松灵差速驱动底盘TRACER）和一个全身远程操作界面。
随后，依托Mobile ALOHA收集的丰富数据，研究团队进行了监督学习实验，并发现联合静态ALOHA数据集共同训练可以提高移动操作任务的性能。而且每个任务仅需提供50次示教，就可以将成功率提高至90%。这两天陆续展示的结果表明，Mobile ALOHA足以自主完成例如清理桌面污渍、煎炸和端盘、打开双门壁橱存放重物、呼叫和乘电梯以及水龙头冲洗厨具等动态复杂任务，基本实现人类生活家居覆盖。国内的艾欧智能
（遥操作方案）是一家比较专注遥操作数据采集的公司，主要还是比较像mobile aloha系统。
锐评一下，aloha
还是难用，很重，采集数据类型也有限，难以大规模数据采集。
后面出现了一中专用采集器叫UMI，这种采集器可以手持，采集夹爪信息和vision数据信息。UMI数据采集是一种高效、灵活的方式，通过多种接口和设备实时收集、处理和传输数据。常见的采集方式包括传感器数据采集、手把手示教数据采集、数据手套和VR系统的交互采集等，能够支持多种应用场景，如机器人操作、工业自动化和虚拟现实。UMI系统可以同步采集多个通道的数据，提供精准、实时的测量信息，帮助用户进行数据分析、决策和控制。缺点是只有两指夹爪的版本。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等。
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
项目对接
、
3D视觉学习路线总结
、
最新顶会论文&代码
、
3D视觉行业最新模组
、
3D视觉优质源码汇总
