业界 | 词嵌入所不能解决的自然语言理解：会话人工智能的方向在哪？

近年来，我们看到在各种设备上都开始加载一种「智能」数字助理。在最近的消费电子展（CES），现代和丰田都发布了新型车载助理。不过虽然这些应用背后的技术越来越好，但是还是存在着用户对其失望的情绪：他们对「智能」的期望并没有得到满足。

尽管数据驱动的方式在自然语言处理（NLP）中取得了较大的进步，自然语言理解仍然处于艰难的地步。Winograd Schema Challenge 最近提出了一种图灵测试的改进，他们希望其能用于评价机器是否「智能」。该测试命名为 Terry Winograd，并且在挑战赛中使用了第一个代词消歧类问题样本：

市议会拒绝许可游行示威，因为他们害怕暴力

在这一句话中「他们」指的是谁？是市议会还是游行者？如果我们把「害怕」替换为「倡导」呢？这样为什么就改变了我们对「他们」的理解。因为我们知道议员更害怕暴力，而示威者更倡导暴力，而这种不是文本本身的信息对消除代词「他们」的歧义是至关重要的，这就给人工智能系统带来了巨大的挑战。

第一次 Winograd Schema Challenge 在去年七月举行，获胜算法仅仅只是比「随机」获得稍微高一点的分数。

表征与理解

如今有一种可以表征自然语言单词的技术，它在自然语言处理任务（如情感分析和机器翻译）中是十分高效的。这种表征就是词嵌入（word embeddings），该技术使用数学方法从数百万的样本词学习训练词义从而表征单词。词嵌入主要就是通过学习单词之间的关系而表征词义。如通过确保各个向量（具体说向量「国王」-「男性」+「女性」=「王后」）之间的特定数学关系，一组优良的表征将获取「国王是男性，王后是女性」这一关系。

这种向量化的表征是谷歌新翻译系统的核心，只不过该系统能够更进一步表征整个句子而不是单词。该新系统「在主要的几个自然语言对中，有效地降低了翻译错误率高达 55% 到 85%」，并且还能执行 zero-shot 翻译：也就是互译没有训练数据集的两种语言。鉴于所有的这些，也许听到 NLP 的前沿研究者 Oren Etzioni 所嘲讽的就会很惊讶了，他嘲讽道：「当人工智能不能确定句子中的「它」是指什么的时候，其是不会影响世界的。」

所以，人工智能可以在没有训练的情况进行语言对足够好的翻译，但人工智能还是不能确定「它」是指的什么。

语义并不是直接获取

当了解到词和句子的向量化表征是如何工作时，可以认为它们真正在获取意义，即有产生一些理解。但这样说是不对的，这些表征是由使用语言的样本而驱动，而我们使用的语言是由意义而驱动的。因此，我们所做出来的表达自然地反映了该含义。但是，学习这种词嵌入表征的人工智能系统并没有直接获取实际意义。