自然语言处理领域的欧洲顶级会议 EACL 2017 将于当地时间 4 月 3-7 日在西班牙瓦伦西亚举行，近日，该会议的官网公布了本届会议的 4 篇杰出论文（Outstanding Paper），其中包括 3 篇长论文和 1 篇短论文。机器之心在本文中对这 4 篇论文分别进行了摘要介绍，同时也附带了可查阅论文的相关链接。据官网介绍，对这 4 篇论文的宣讲集中安排在会议的第五天（当地时间 4 月 7 日），更多信息请访问其官网了解：http://eacl2017.org
论文一：循环神经网络语法能学到什么句法？（What Do Recurrent Neural Network Grammars Learn About Syntax?）
链接：https://arxiv.org/abs/1611.05774
摘要：循环神经网络语法（RNNG）是近期提出的一个用于自然语言处理的概率生成模型家族。它们展示了最先进的语言建模以及解析效果。我们从语言学的角度，通过多种对模型和数据的磨蚀（ablation），用一个注意力机制（GA-RNNG）增强模型（以便近一步观察），研究了它们学习的内容。我们发现，想要获得最佳性能表现，关键就是详细地为构成（composition）建模。通过注意力机制，我们发现中心语（headedness）在短语表征中（带有模型潜在注意力机制，该机制与人工中心语规则所做预测大部分一致，尽管也有些重要区别）起关键作用。通过在没有非终结符标签的情况下训练语法，我们发现，短语表征最低程度地取决于非终结符，这为向心性假设（endocentricity hypothesis）提供了支持。
图 1：RNNG 的组成部分：一个堆栈、、生成词汇的缓冲器和导致当前配置的过往动作的列表。每个部分都被嵌入了 LSTM，解析器状态总结 ut（如图）被视为顶层特征，用于根据所有可行动作预测一个 softmax. 上图源于 Dyer et al. (2016)。
图 2：在每个 REDUCE 运行中，RNNG 的结构功能；右边的网络是左边结构的建模 (Dyer et al., 2016)。
论文二（短论文）：用于实现主体构形范式的基于字符串的神经图模型（Neural Graphical Models over Strings for Principal Parts Morphological Paradigm Completion）
链接：https://ryancotterell.github.io/papers/cotterell+ala.eacl17.pdf
摘要：世界上很多语言都存在丰富的词素（lexeme）相互影响的形式。处理这类语言的主要任务就是预测这些相互影响的形式。我们提出了一种新的统计模型，该模型利用了图建模技术（graphical modeling techniques）以及深度学习近期取得的一些进展。我们求导了一个 Metropolis-Hastings 算法来一起解码该模型。我们这个贝叶斯网络的灵感来自主体构形分析（principal parts morphological analysis）。我们也证实了，在五种语言中，这一方法确实改善了预测效果。
图 1：两个潜在的图模型，用于实现范式完成。（a）的拓扑结构编码了网络，其中所有的形式都是依据词素预测出来的。（b）是一个以主体构形为灵感的拓扑结构。
