嘈杂场景语音识别准确率怎么提？脸书：看嘴唇

明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI

借助读唇语，人类能够更容易听懂他人的讲话内容，那么AI也能如此吗？

最近，Meta提出了一种视听版BERT，不仅能读唇语，还能将识别错误率降低 75% 。

效果大概就像如下这样，给一段视频，该模型就能根据人物的口型及语音输出他所说的内容。

而且与此前同类方法相比，它只用 十分之一 的标记数据，性能就能超过过去最好的视听语音识别系统。

这种结合了读唇的语音识别方法，对于识别 嘈杂环境下 的语音有重大帮助。

Meta的研究专家Abdelrahman Mohamed表示，该技术未来可用在手机智能助手、AR眼镜等智能设备上。

目前，Meta已将相关代码开源至GitHub。

自监督+多模态

Meta将该方法命名为 AV-HuBERT ，这是一个多模态的自监督学习框架。

多模态 不难理解，该框架需要输入语音音频和唇语视频两种不同形式内容，然后输出对应文本。

Meta表示，通过结合人们说话过程中嘴唇和牙齿活动、语音方面的信息，AV-HuBERT可以捕捉到音频和视频间的微妙联系。

这和人类本身感知语言的模式很相似。

此前已经有研究表明，阅读唇语是人类理解语言的一种重要方式。尤其是在嘈杂的环境下，通过读唇可以将语言识别的准确性最高提升 6倍 。

在该模型中，通过一个 ResNet-transformer框架 可将掩码音频、图像序列编码为视听特征，从而来预测离散的集群任务序列。

具体来看，AV-HuBERT使用 帧级同步 的音频流和视频流作为输入，来更好地建模和提取两种模态之间的相关性。

图像序列和音频特征能够通过轻量级的模态特定编码器来产生 中间特征 ，然后将这个中间特征融合并反馈到共享的主干transformer编码器中，以此来预测 掩蔽聚类任务 （masked cluster assignments） 。

该目标是根据聚类音频特征或AV-HuBERT模型上一次迭代中提取的特征生成的。

当对唇读微调时，该模型只使用视觉输入、不使用音频输入。

结果表明，AV-HuBERT经过 30个 小时带有标签的TED演讲视频训练后，单词错误率（WER）为 32.5% ，而此前方法能达到的最低错误率为 33.6% ，并且此方法训练时间高达 31000个 小时。

WER是语音识别任务中的错误率指标，计算方法为将错误识别单词数除以总单词数，32.5%意味着大约每30个单词出现一个错误。

经过 433个 小时TED演讲训练后，错误率可进一步降低至 26.9% 。

另一方面，AV-HuBERT与前人方法最大不同之处在于，它采用了 自监督学习 方法。

此前DeepMind、牛津大学提出的方法中，由于需要对数据集打标签，使得可学习的词汇范围受到限制。