随着智能机器人技术迅猛发展，基于声学传感器的人机交互（HMI）在促进机器人实现自然高效通信方面扮演着至关重要的角色。然而，如何准确识别和跟踪全向声源，特别是在嘈杂的环境中实现该目的，仍然是一个亟待解决的难题。
北京纳米能源与系统研究所王杰研究员团队成功研发出一种具有全向声音识别和跟踪能力的自供电摩擦电立体声传感器（SAS），为解决这一问题提供了创新性的解决方案。SAS采用了具有高电子亲和力和低杨氏模量的多孔振动膜，使其具有高灵敏度（3172.9 mVpp Pa−1)和宽频率响应范围（100-20,000 Hz）。利用其全方位的声音识别能力和可调的谐振频率特性，SAS即使在嘈杂的环境中也能精确识别所需的音频信号，平均深度学习准确率达到约98%。该传感器的研发不仅解决了智能机器人在复杂环境中声音识别的难题，还为其在多个领域的应用开辟了广阔前景。例如，在辅助会议系统中，SAS可以同时识别多个个体的声音，提高会议效率；在自动驾驶汽车领域，它能够在背景音乐下准确识别驾驶命令，确保行车安全。这些应用展示标志着基于语音的人机界面系统取得了显著进步。该研究以题为“A Highly-Sensitive Omnidirectional Acoustic Sensor for Enhanced Human–Machine Interaction”的论文发表在最新一期《Advanced Materials》上。
【声传感器结构及工作原理】
在探索更高效、更自然的人机交互（HMI）系统的进程中，声学传感器扮演着至关重要的角色。作为机器人的“听觉”装置，声学传感器能够精准地识别人类的指令、语音内容及语调，极大地促进了机器人与人类之间的社会互动。本文提出了一种创新的全方位SAS，通过在3D打印的立体框架上集成五个层状结构的自供电摩擦电声音传感器（TAS），实现了对声音信号的全向捕捉与高效识别。TAS的工作原理主要包括两个方面：声波引起的FEP膜变形，膜的振动将声信号主动转化为电信号。
通过分析公式（1）、（2）和（3）和图1可以清楚的知道影响TAS灵敏度的关键指标是电压（U）；通过调节参数杨氏模量（E）、半径（r）和薄膜厚度（t）可以改变TAS的振动位移进而改变TAS的电压输出调节器件的灵敏度，另外这三个参数也可以调节TAS的谐振频率（f0）。
为了实现从噪声环境中多方向的声音识别和实时跟踪声源，作者引入了一种3D打印设计的SAS，具有均匀分布的五个表面腔，每个表面都集成了单个TAS。基于全向声音识别和可调谐振频率特性，SAS显示了在嘈杂环境中拾取目标声音的能力，这已经在自动驾驶HMI车辆中得到了证明。为了证明SAS的原理，模拟了不同声源入射条件下TAS和SAS的位移响应。当声源正对TAS时，该TAS具有最大的信号响应，当声源在两个TAS之间时，相邻的两个TAS具有相同的且最大的信号响应，基于这些特征，可以根据SAS的响应情况来判断声源的方位和角度。
图2系统地研究了参数E、t和r对TAS性能的影响。相比之下，FEP比PI和PET薄膜具有更小的E，在振动下更易产生变形。另外，在没有任何额外处理的情况下，分别使用这三种材料作为TAS的振膜，并测试其在100-20,000 Hz频率范围内的声音信号响应。结果显示，FEP-TAS具有更大且更完整的声音信号响应，因此我们选用具有更小E值的FEP膜作TAS的振膜材料。值得注意的是，E是材料的固有属性，其值不受膜厚t的影响，但膜厚t却会显著影响TAS的灵敏度和谐振频率。随着膜厚的减小，TAS的灵敏度增大，信噪比增大，谐振频率发生红移。另外，随着半径的减小，TAS的灵敏度减小，信噪比减小，谐振频率发生蓝移。尽管器件的微型化会影响TAS的灵敏度和信噪比，但我们仍然可以通过减少t、使用低E的材料等方法，在一定程度上提高小器件的灵敏度和信噪比。此外，通过改善材料的摩擦起电性能，如选用具有高电子亲和性的振动膜或使用表面显微镜对摩擦材料进行改性，也可以进一步提高TASD的灵敏度和信噪比，从而推动SAS的进一步小型化。在对TAS稳定性的研究中发现，在连续120小时的测试后，其电压输出保持在约93%的水平，而f0在稳定性测试后也仅显示较小的偏差。与驻极体声传感器相比，TAS之所以展现出更高的稳定性，是因为在振动过程中，TAS能够不断地补充摩擦电荷。这种高度的稳定性为基于TAS的人机界面的实际应用奠定了坚实的基础。
为了实现多角度、多方向、高灵敏度的声音识别和跟踪，作者提出了一种3D打印的SAS，它有五个平面用于声音传感，底部是空的，可以放置在桌面上。如图3，1# TAS放置在底面对面的平面上，2#至5# TAS放置在与1# TAS相邻的四个平面上，形成全向情景应用程序。当声源正对平面时，声源与TAS夹角为0°。当声源为对角线入射时，声源与TAS之间的夹角定义为α。当入射角为0°时，面向平面的TAS输出最大，当入射角为α时，相邻两个TAS的电压最大。此外，入射角为0时的最大电压值高于入射角为α时的两个最大电压值。当声源从SAS不同平面和对角入射时，对应的电压信号和频谱强度分布呈现一致的结果。表明SAS可以有效地捕捉不同角度的声音，并通过简单的信号强度分析来识别声源角度。为了进一步说明SAS的全向声音识别和定位功能，研究了声源正对2#平面时，SAS各平面在不同声压下的灵敏度。各SAS平面的灵敏度与声压呈线性关系。其中2# TAS灵敏度最高，达到3172.9 mVpp Pa−1。此外，无论声源入射在哪个平面上，SAS都表现出较高的平均整体声响应约为4.382 V，因此，SAS可以实现空间全向的声音识别和定位，且灵敏度高。当前会议中使用的麦克风在识别多向声源方面存在灵敏度不足和局限性显著的问题。相比之下，SAS凭借其卓越的灵敏度、优越的信噪比以及全向声音识别与定位能力，使其成为优化辅助会议人机界面系统的合适选择。如图4，为了提升会议信息识别的丰富性和准确性，我们建立了一个基于卷积神经网络（CNN）的深度学习模型，对命令进行学习和识别，识别平均准确率高达99.36%。借助该模型，辅助会议人机界面系统不仅能够在说话人位于对面且分开说话时，实现信息的准确识别与方向定位追踪，还能在说话人位于邻面且同时说话时，完成身份识别、方向定位以及轨迹追踪的复杂任务。这一突破打破了传统会议系统中同时识别多个个体的技术瓶颈，显著提升了会议的互动性和效率。另外，SAS在声源轨迹识别和追踪中显示出色的能力。在自动驾驶技术中使用基于语音的HMI可以实现免操作，同时还可以提高效率并减轻驾驶员的疲劳。然而，在这个过程中，以语音为主的人机界面系统容易受到界面噪声和声传感器精度的影响，可能会影响驾驶员对智能驾驶系统的语音指令，从而影响驾驶体验。如图5，基于SAS的智能驾驶系统由于灵敏度高、频率带宽大、信噪比高，能够在背景噪声强的全向工作空间中识别声音，为上述问题提供了可行的解决方案。此外，基于SAS的智能驾驶系统可以根据说话方向、电压信号、频域信号、频谱强度来识别说话者的身份，避免在出现多个声音时命令发出者的误判。即使在放音乐的环境中，SAS对声音信号的识别平均准确率达97.73%，依然可以拾取命令使无人驾驶车辆HMI系统做出回复。这种强大的性能主要归功于SAS 3D结构设计独特的多向声音识别能力，以及不同声源的时域信号和频域信号的差异。尽管通过共同通道收集电压信号，共振频率的差异，独特地归因于每个单独的声源，有助于消除噪声干扰和成功地拾取目标声音，将SAS调整共振频率的能力与其3D结构提供的精确方向识别相结合，使其能够从嘈杂的环境中有效地提取所需的声音。总结：作者提出了一种自供电的SAS，该传感器采用了独特的立方体设计，赋予了其全向声音响应与精准跟踪的双重能力。通过结合低E的多孔振动膜，SAS具有高灵敏度（3172.9 mVpp Pa−1），宽频率响应范围（100-20,000 Hz），以及高信噪比（56.37 dB）。利用SAS的全向声音识别和跟踪能力，以及其对不同声源和方向的差异化谐振频率响应，我们实现了从嘈杂背景中高效提取目标信号的目标。在深度学习模型的辅助下，SAS对目标信号的识别准确率平均达到了约98%。更重要的是，SAS的出现打破了多人同时与机器人互动的局限性。此外，SAS成功地展示了其在辅助会议系统、声音跟踪和自动驾驶系统（特别是在带有背景音乐的环境中准确识别驾驶命令）中的卓越表现。这项研究凸显了自供电摩擦电技术在基于语音的人机界面系统中的深远优势。原文链接：
https://onlinelibrary.wiley.com/doi/10.1002/adma.202413086声明：仅代表作者个人观点，作者水平有限，如有不科学之处，请在下方留言指正！
