ICML 2024 || 图外部注意力机制捕捉图之间的关系

大家好，今天给大家介绍一篇最ICML 2024关于Graph Transformer研究论文，这篇论文提出了一种新的图外部注意力机制(Graph External Attention, GEA)和基于GEA的图外部注意力增强Transformer(Graph External Attention Enhanced Transformer, GEAET)模型。 这项工作解决了现有图表示学习方法忽视图间相关性的问题，通过引入外部注意力单元来隐式学习图间相关性，从而获得更全面的图表示 。

1. 基本信息

• 论文题目：Graph External Attention Enhanced Transformer
• 作者：Jianqing Liang, Min Chen, Jiye Liang
• 作者研究单位：Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, School of Computer and Information Technology, Shanxi University , Taiyuan 030006, Shanxi, China
• 代码链接： https://github.com/icm1018/GEAET

2. 研究背景

图表示学习在近年来受到广泛关注，在社交网络分析、药物发现、蛋白质设计和医疗诊断等多个领域发挥着重要作用。早期的图表示学习研究主要集中在图神经网络(GNNs)上，如GCN、GraphSage、GatedGCN和GIN等。然而，基于消息传递的GNNs存在一些关键限制，包括有限的表达能力、过平滑、过度压缩和长距离依赖性差等问题。

相对于GNN， 图Transformer（GT）通过自注意力机制捕捉节点间的全局交互信息，解决了一些GNN的典型问题 。然而，现有的研究大多只关注图的内部信息，忽略了图与图之间的潜在相关性。本文提出了一种新的外部图注意力机制（GEA），并基于此设计了一种图外部注意力增强Transformer（GEAET），以捕捉图间的相关性并结合局部结构和全局交互信息，从而实现更全面的图表示。

本文作者认为，在许多实际场景中（如分子图数据）， 不同图之间通常存在强相关性 。直观上，利用图间相关性可以提高图表示学习的效果。因此，本文提出了一个关键问题： 如何将外部信息纳入图表示学习中？

3. 方法

本文提出了两个主要的创新方法：图外部注意力（Graph External Attention, GEA）和图外部注意力增强Transformer（Graph External Attention Enhanced Transformer, GEAET）。

1. 图外部注意力（GEA）

GEA的核心思想是 引入外部的可学习单元来隐式学习图间相关性 。具体来说，GEA计算输入图的节点特征与外部单元之间的注意力：

其中， 是输入图的节点特征矩阵， 是一个可学习的参数，可以看作是具有 个节点的外部单元，作为所有输入图的共享存储。 表示输入图节点与外部单元之间的相似度。

为了处理注意力矩阵对输入特征尺度的敏感性，作者采用了 双重归一化技术：

在实际应用中，为了提高网络的能力，作者使用了两个不同的外部单元分别作为键和值。此外，为了利用输入图中的边信息，还引入了额外的外部单元用于边特征，以及一个共享单元来存储边和节点之间的连接：

其中， 是存储边和节点之间连接的共享单元； 是节点的外部键值单元，