上肢运动障碍是一种常见的神经系统疾病，会损害患者肩膀、手臂、手腕和手指的运动能力，影响日常生活。
机械臂作为一种上肢辅助设备已得到广泛应用，但传统的操纵杆或键盘控制方式并不适用于上肢运动功能严重受损的患者。
针对这一问题，基于头部信号的人机接口控制机械臂成为了一个重要的研究方向。
目前已有一些利用脑电(EEG)、眼电(EOG)、肌电(EMG)等电生理信号或头部运动等非生理信号控制机械臂的研究，但仍存在一些局限性，如设备复杂不可穿戴、多维运动控制精度不高、连续运动控制难以实现等问题。华南理工大学的团队提出了一种基于可穿戴式
多模态人机接口的机械臂运动控制方法，通过融合用户的眼电、头部姿态和语音等多种信号模态，实现了对机械臂在3维空间中的高精度连续运动控制。
▍
系统构成
本系统主要由信号采集设备、人机交互界面和机械臂系统组成。信号采集设备包括一个便携式智能头环和一台平板电脑。智能头环可采集用户的EOG信号和头部姿态信息，平板电脑内置麦克风用于采集语音。人机交互界面上设计了一些虚拟按钮，每个按钮映射到不同的控制指令。机械臂系统由一个7自由度机械臂和一台计算机组成。
整个系统的工作流程如下：智能头环采集用户的EOG信号和头部姿态信息传输给平板电脑，麦克风采集语音信号。平板电脑内的算法对采集到的信号进行分析处理，生成相应的控制指令传输给机械臂，机械臂据此执行相应的运动任务。
▍
信号分析与控制策略
眨眼检测算法
系统通过眨眼检测算法判断用户是否有主动眨眼动作。该算法分为离线校准和在线检测两部分。校准阶段利用短时能量和波形特征提取出能量阈值和波形阈值。在线检测每100ms执行一次，包括能量检测、波形检测和决策三个步骤,最终输出眨眼检测结果。
头部姿态映射
系统将智能头环IMU检测到的头部姿态数据映射为人机交互界面上虚拟光标的位置。通过卡尔曼滤波算法对IMU数据进行滤波，然后将欧拉角转换为虚拟光标位置的像素坐标。用户通过转动头部控制虚拟光标在界面上移动。
语音识别
使用语音识别引擎将用户的语音信号转换为文本指令。当识别到特定的关键词(如"停止")时，系统会立即停止机械臂的运动。
控制策略
系统将多模态信号转换为机械臂的运动控制指令。EOG信号主要用于识别用户的眨眼动作，通过眨眼可以点击人机交互界面上的虚拟按钮，控制机械臂执行抓取、释放、启动/停止等独立动作。头部姿态信息用于控制机械臂在水平面内沿任意角度连续运动，通过转头动作可以改变机械臂的运动方向。语音信号作为一种辅助控制信号，用于快速停止机械臂运动。综合利用这三种信号，可以实现对机械臂在3维空间内的灵活控制。
▍
实验与结果
实验招募了10名健康受试者对该系统进行测试，实验内容包括指令输出、2维目标跟踪、字母书写和3维物体抓取四个部分。结果表明，系统利用眨眼生成指令的准确率为96.67%，响应时间为1.51s，信息传输率达142.53bit/min，误报率仅0.05次/分钟。此外，系统在2维平面沿两条不同路线跟踪目标的均方根偏差分别为0.12和0.14，抓取3维物体的平均轨迹效率为92.65%，控制效果与手动控制相当。实验结果验证了利用所提出的多模态人机接口实现机械臂高效运动控制的可行性，以及它在辅助上肢运动功能障碍患者方面的应用潜力。
总之，本文提出了一种基于可穿戴式多模态人机接口的机械臂运动控制方法。该方法融合了用户的眼电、头部姿态和语音信号，可实现对机械臂在3维空间内的灵活控制。与已有方法相比，该系统具有设备简单可穿戴、控制指令丰富、响应速度快、连续运动控制精度高等优点。实验结果表明，利用该系统可以实现机械臂的高效控制，在辅助上肢运动功能障碍患者日常生活方面具有良好的应用前景。未来还可以进一步优化控制策略，提高系统的鲁棒性和易用性,并开展针对实际患者的临床应用研究。
