近日，由
香港科技大学（HKUST）电子与计算机工程学系
申亚京教授
领导的研究团队，
提出了一种基于数字通道的触觉交互系统，可以实时测量来自手不同部位的分布力，有望在医学评估、体育训练、机器人和虚拟现实（VR）等多个领域实现应用。
经过数百万年的生物进化，手已成为人类意识最直接的延伸之一。我们日常使用的许多交互设备，如手柄、鼠标、键盘和触摸板，都是为了方便手的使用而设计。然而，尽管手在我们的生活中起着至关重要的作用，但我们对手产生的力知之甚少。例如，抓握时每跟手指产生的力有何不同？手掌的力如何分布？这一知识空白极大地阻碍了包括精准医疗、体育训练、机器人技术、虚拟现实操作等多个领域的发展。
近几个世纪，基于液压、气压和机械弹簧原理的握力计是评估人手施加的力的常用方法，但它们只能提供最大力的信息，缺乏空间和时间的细节分布（图1）。柔性触觉仿生皮肤的发展为测量力的分布提供了新的机会，按其原理，可大致分为两类：基于电信号的阵列式传感（压阻式、电容式、压电、摩擦电等）和基于视觉的传感技术（Gelsight、Tactip、TacLINK、Insight等）。基于电信号的传感器在单点力测量时精度非常高，但存在大面积复杂接触变形时引起的串扰问题，出现精度下降。基于视觉的方法可以避免电信号的串扰问题，提供更高的鲁棒性，但其量程范围通常较小（通常<10N），且同样面临多点大面积接触时精度不足的问题。此外，其标定常需要大量数据集（通常>1GB）。简而言之，现有的柔性触觉传感方式获得的信息，本质上是来自多个未知负载源耦合的复杂模拟信号，这使得分布力的解码非常复杂，特别是对于多点大面积复杂接触的力分布，如手部的握力。
在最近的一项研究中，香港科技大学的科研团队通过引入“数字通道”的概念，在分布力的接触位置上生成可辩别的时序数字信号，解决了多点大面积复杂接触问题，并提出了一种以手为中心的触觉交互系统（PhyTac，图2）。PhyTac由带有标记点阵列的仿生外壳、偏振线性光源和运动捕捉摄像头组成。当PhyTac受到手部施加的力时，其外壳会发生变形，同时摄像头会捕捉到每个标记点的运动。随后，利用所有标记点的位移作为输入，物理模型增强神经网络（FEM-NN）能够准确建立标记点位移与手部力分布之间的映射关系。因此，系统能够重建手部丰富的触觉力学信息，与现有的设备相比增加了至少两个数量级的信息量，从而在新一代的人机交互中可获得广泛的应用（图3）。
图2 A. PhyTac的整体结构和组件。B. 受TrkB+启发的数字通道。C. 受螺旋女王芦荟启发的螺旋式标记点排列方法
“数字通道”概念的引入，可以准确识别复杂接触的位置，从而准确解码大面积接触问题中的分布力。当标记点的阈值开关被激活时，它们被表示为逻辑“1”，而其他标记被表示为逻辑“0”，从而形成一个代表关键力空间分布的数字通道。此数字通道不仅能过滤掉来自周围刺激的不必要干扰，还能以较少的计算资源提供具有物理意义的高质量数据（图4）。通过将物理模型融入人工智能模型训练，数据集的大小可显著减少到仅45 KB，远小于传统方法（通常需要超过1 GB的数据集）。因此，即使使用极小的数据集，该设备也能从多重耦合的模拟信号中准确识别出高达368个区域的多点刺激，对于力的重建精度也高达97.7%。
图4 引入数字通道后，分布力的位置与幅度均可精确重建。
“针对大规模分布式触觉传感技术，‘数字通道’的概念能够为解码力的位置提供一个新的维度，从而仅通过极小的数据集就可实现高精度和高鲁棒性。”申教授解释了这项研究的背景。
自然界中，螺旋女王芦荟的旋转叶序能够避免叶子互相遮挡，从而来最大化得捕获阳光（图2C）。受此启发，研究者将标记点以类似的螺旋结构排列以优化光路，使得PhyTac避免了由标记点互相遮挡引起的精度下降，并显著提高了标记点的分布密度，这最终提高了力的传感范围和分辨率。
图5展示了物理模型增强神经网络（FEM-NN）的原理及其在小数据集上的优势和高精度。FEM-NN的输入是由数字通道得到的关键节点(key nodesof interest, KOI)和位移矩阵,输出为增广刚度矩阵，其仅需要一个很小的数据集(45KB)。引入的物理模型建立了一个力学框架（FEM），将标记位移和力大小联系起来，并提供了包含PhyTac材料、几何和力学性能的宝贵先验知识。FEM-NN模型既采用了此力学先验知识，并得益于神经网络的强大拟合能力，有效地弥补了有限元模型与现实世界模型之间的物理缺失。结果表明，FEM-NN在整个量程范围（0.5 ~ 25 N）内均保持了较高的精度，力的平均绝对误差为0.11 N，平均相对误差仅为2.3%，优于传统基于纯物理模型的方法和基于卷积神经网络的方法（图5C）。
PhyTac可直接应用于握力分布的测量，这将有益于多种疾病（中风、类风湿性关节炎等）的评估和治疗。与其他潜在的解决方案（如触觉手套）相比，此方法更加鲁棒、易用和无束缚。如视频S2所示，它可精确地识别不同握持姿势下握力分布的动态变化。
研究者进一步将PhyTac安装在网球拍上，并测量了击打网球时手部的力量分布（如视频S3所示）。“我们发现正手击球时，力量主要集中在食指、中指和无名指上。相比之下，反手击球时的力量分布则有所不同，其中拇指、无名指和小指贡献了更多的力量。”本研究的第一作者唐一峰说道。
PhyTac还能通过将现实世界中的分布力投射到虚拟世界中，实现精确的虚拟现实（VR）操控。使用者可以用拇指和食指小心翼翼地托住一个鸡蛋而不将其捏碎，或者当总力量超过一定阈值时用三根手指捏碎它。同样地，作者还展示了用握力捏碎花瓶，以及如何用不同的分布力精确操控软球的变形（图7和视频S4）。“此外，得益于PhyTac在三维空间中的灵活性，它可以作为遥控操作界面，控制机器人手拿起、握住并传递一个薄塑料杯，而不会将其捏坏。”唐一峰补充道。详细视频于视频S5中展示。
图7 在虚拟世界中精确操控鸡蛋、花瓶和软球（上图）。遥控机器人手抓取、握住和传递物体（下图）。
