语言处理想突破，三座大山必须过

“我的飞机什么时候到？”

把这个问题抛给智能机器人助手。几乎可以肯定，机器立马就懵逼了。

“我”是谁？“飞机”是航班还是淘宝上订的模型玩具呢？“到”又是到哪呢？

如果是人类来回答这个问题，即使在情景不明确的情况下也能在快速澄清后给出回答，但对机器来说，除非依赖大量人为制定的规则，回答这样的问题难度堪比 “哥德巴赫猜想” 。

面对自然语言处理发展（NLP）存在的诸多难题，该领域的大牛、Salesforce的首席科学家Richard Socher在近日指出：NLP领域的发展要过三座大山。

困扰NLP领域的这三座大山究竟是什么？一起来听大佬说。

一直以来，语言都被认为是人类的独特能力，是智慧的表现。但最近，自然语言处理技术的发展似乎也将语言能力赋予给了机器。

帮你打电话订餐，给你讲故事，解决各种刁钻的冷知识问答......机器的语言能力已经无限接近人类水平。

现在你可以走进昏暗的客厅，让Alexa把智能灯的亮度提高到75%。你也可以询问他世界另一边的天气情况。在Google最近的Duplexde，AI助理已经能够给理发店打电话，为你预约剪发。

曾经被视为科幻的场景现在变为了现实，但为了维持真正的人机关系，机器必须能够与人进行更直观、理解上下文和自然的对话——这仍然是一个挑战。我致力于研究NLP，但是就像AI一样，我们还在这个旅程的开始阶段。

语言是分享信息和与周围连接的一种机制，但是机器需要理解语言的复杂性以及作为人类是如何使用语言进行交流的。 情感分析、问题回答和联合多任务学习方面的进步使AI能够真正理解人类以及我们的交流方式。

语言本身就是复杂的。 它不断发展，而且细致入微，一般人需要数年才能掌握。通过情绪分析，我们可以使用AI来理解特定内容，比如品牌或电影评价是正面的、负面的还是中性的。

我们也能弄清楚演讲者的态度和意图(她是生气，高兴，惊讶还是准备好要买东西了？)。从客户服务到在线社区调节再到算法交易，能够即时分析数千条推特和数百条产品评论来理解公众对一个品牌的看法，这对于企业来说是非常有价值的。

情感分析技术已经存在了一段时间，但并不总是非常精准。随着NLP的进展，这种情况正在发生变化。在我担任首席科学家的Salesforce，我们的AI（叫做Einstein）允许品牌能够通过电子邮件，社交媒体，和聊天短信得到实时的情感分析，为客户提供更好的体验。

准确的情感分析，例如，服务代理可帮助了解应优先服务哪些不满意的客户，或者应向谁提供优惠。也可识别产品缺陷，衡量产品满意度，通过社交平台改变人们对品牌的认知。其他科技公司也提供类似服务。

对于情感分析来说，理解上下文也是很重要的。假设你有一家肥皂公司，有人在推特上说：“这种肥皂对婴儿来说真的很棒。”这可以是对儿童肥皂的积极支持，也可能是暗讽这对孩子来说很可怕。

这句陈述可能包含很多上下文，但又很简单！使用AI分析某一句子结构的所有可能性，并理解一个人在特定语境下的用意，是NLP研究的重大挑战。它既需要 标记数据 来改进模型培训，也需要新的模型在 学习上下文 的同时在许多不同类型的任务之间共享知识。

随着NLP更好地解析文本的含义，帮助管理我们生活的数字助理智能将会提高。Siri和Google Assistant等应用程序可为常见问题提供优质答案，并执行简单的命令。理想情况下，我们应该能够问电脑任意问题，并且得到好的答案。

提供更好答案的一种方式是确保计算机理解问题。如果你问“我的飞机什么时候到达？”计算机怎么知道是在谈论你的航班还是从亚马逊订购的木工工具呢？

通过对语义的更深入理解，再加上对上下文数据的更好使用，计算机在判断语义这方面正变得越来越好。 我们正在研究如何使用NLP学习每一层上下文，这样AI就可以同时处理所有内容，而不会错过重要的信息。

例如，动态共聚焦网络（ dynamic coattention networks可以根据不同的问题对单个文档进行不同的解释，比如，面对一篇体育报道，在回答“哪位运动员获得了冠军？”和“最年轻的参赛者是几岁？”这两个问题是，机器就能对这篇报道作出不同的理解，从而反复假设多个答案，最终得到最好、最准确的结果。