专栏名称: 待字闺中
深度分析大数据、深度学习、人工智能等技术,切中实际应用场景,为大家授业解惑。间或,也会介绍国内外相关领域有趣的面试题。
目录
相关文章推荐
OSC开源社区  ·  30个小确幸(程序员版) ·  昨天  
OSC开源社区  ·  三句话让老板直接给我主动放假 ·  5 天前  
程序猿  ·  雷军提出建议!他本人也曾是“受害者” ·  6 天前  
码农翻身  ·  字节的Trae不像一个IDE,它更像一个人 ·  3 天前  
51好读  ›  专栏  ›  待字闺中

手机居然可以这么偷听你的秘密,及如何应对

待字闺中  · 公众号  · 程序员  · 2022-10-19 13:31

正文

就在昨天,几个朋友聊天说现在手机上的应用,能偷听我们的聊天,然后推送和我们聊天相关的广告。

对于这种说法,一直不相信,一直认为是心理因素,因为我们聊天说到某个东西,我们大脑的心智模式已经集中到了这个东西,所以当我们看到手机应用给出和这个东西相关的广告时,马上会引起我们大脑的注意和反应。

但是,过了一会,一个朋友打开他手机上的头条应用,马上就给他推了一个pico 4 VR 一体机的广告,因为我们正好当时看到公共汽车广告牌的pico广告,随便聊了几句,果然广告就到了。估计很多人都有过类似的体验,“刚说完话,手机就弹广告”。

但我还是不敢相信,如果手机应用会偷听我们的聊天语音,那些做安全的公司,包括政府机构,应该早就去研究得出结论了,所以不可能偷听语音。

还是出于好奇,在网上做了一点研究,结果,一篇浙大教授发表的论文吸引了眼球。

“Learning-based Practical Smartphone Eavesdropping with Built-in Accelerometer"

“用内置加速传感器实现基于学习的实用智能手机窃听”

果然可以曲线偷听呀!


论文摘要:“目前智能手机上的运动传感器因其对振动的敏感性而被用于音频窃听。然而,这种威胁被认为是低风险的,因为有两个被广泛承认的限制:首先,与麦克风不同,运动传感器只能接收通过固体介质的语音信号。因此,之前报道的唯一可行的设置是使用智能手机陀螺仪窃听放在同一张桌子上的扬声器。第二个限制来自一个常识,即由于采样上限为200Hz,这些传感器只能接收到窄带(85-100Hz)的语音信号。在本文中,我们重新审视了运动传感器对语音隐私的威胁,并提出了AccelEve,一种新的侧通道攻击,利用智能手机的加速计来窃听同一智能手机中的扬声器。具体来说,它利用加速度计测量来识别说话者发出的语音并重建相应的音频信号。与之前的工作相比,我们的设置允许语音信号通过共享主板在加速度计测量中始终产生强烈的响应,这成功地解决了第一个限制,并允许这种攻击渗透到现实场景中。关于采样率的限制,与人们普遍认为的相反,我们在最近的智能手机中观察到高达500Hz的采样率,这几乎涵盖了成人语音的整个基频(85-255Hz)。在这些关键观察的基础上,我们提出了一个从加速度信号的声谱图表示来新的基于深度学习的系统,学习识别和重建语音信息。该系统对具有跳跃连接的深度神经网络进行自适应优化,利用鲁棒和广义损失实现鲁棒识别和重构性能。广泛的评估证明了我们的攻击在各种环境下的有效性和高准确性。”

啊哈,居然可以采集内置加速传感器的信号,然后通过深度学习算法来解析出语音文字。原理如下图所示。

加速度传感器的结构如下图。

智能手机加速度传感器的采样频率在持续提升,足以覆盖人的语音的频段。

用于识别加速度传感器信号到语音文字的深度学习模型。

模型的识别正确率挺高的,对于广告这种匹配足够好了。

对于选定一些热词的识别率高达90%的正确率。







请到「今天看啥」查看全文