CANE：用于关系建模的上下文相关网络表示学习模型

「每周一起读」是由 PaperWeekly 发起的协同阅读小组。我们每周精选一篇优质好文，利用在线协同工具进行精读并发起讨论，在碎片化时代坚持深度阅读。目前已成立的专题小组有：Chatbot、机器翻译、知识图谱、GAN、推荐系统、QA、增强学习、多模态、自动文摘和统计学习。

huangchao

本文是一篇关于网络表示学习的文章，用于对一个网络结构中的节点进行向量化表示，传统的方法大都没有考虑一些异构信息（如节点的标签，文本等），在和不同的节点进行交互时，其表示也是相同的，因而是 context-free 的。本文的模型（CANE）通过引入一种相互注意机制（mutual attention），对节点的结构信息和文本信息进行了融合，从而可以考虑节点的上下文信息，在和不同的节点交互时具有不同的表示。本文的模型在连接预测和节点分类的任务上均取得了比其它模型更好的结果。

个人觉得本文的工作对于实体消歧方面的工作具有借鉴意义，另外，个人觉得本文模型可能受限的地方在于，本文考虑的 context 是针对一条边所连接的结点的文本信息，可能有点匮乏，以前看一些工作，网络中一个结点的 context 通常被认为是该结点连接的边以及其邻居结点的信息，因此，或许结合之前做关系抽取用到的 selective attention 找到和该结点连接的比较重要的一些边，再使用本文的 mutual attention 对结点的 text 和这些边的领域结点的 text 进行融合表示，或许可以学习到一个更有意义的结点的表示。

lizhili

本文主要针对目前存在的 NE 方法对于每个顶点仅有一个简单 embedding，没有考虑到网络节点根据不同的交互对象会展现出不同交互特性的缺陷，提出了上下文敏感的网络表示（CANE）。首先通过 cnn 得到网络顶点的一个 embedding（context-free embedding），之后通过计算该节点与相邻节点的 mutual attention（就是在 pooling 层引入一个相关程度矩阵），得到顶点针对该相邻节点的 context-aware embedding，最终顶点的 embedding 表示由这两个 embedding 结合得到。文章将模型用到了链接预测，节点间关系解释任务中，均取得了不错效果。

dingboy

对于传统的 NE 方法，结点只有一个 embedding，缺乏多样性。本文针对这点提出了上下文敏感的 embedding，从而构成了“动态”的结点。本文的“动态”思路与之前的 TransX 系列有类似之处。例如，TransD 与 TransR 通过投影矩阵，使得 entity 在不同 relation 下有不同的 embedding。而 TransG 认为 relation 具有多语义，通过生成模型，根据不同的实体对动态生成 relation 的语义 embedding。总体来说，本文的模型具有较好的借鉴意义。