大家好，今天给大家介绍一篇最ICML 2024关于Graph Transformer研究论文，这篇论文提出了一种新的图外部注意力机制(Graph External Attention, GEA)和基于GEA的图外部注意力增强Transformer(Graph External Attention Enhanced Transformer, GEAET)模型。
这项工作解决了现有图表示学习方法忽视图间相关性的问题，通过引入外部注意力单元来隐式学习图间相关性，从而获得更全面的图表示
。
1. 基本信息
论文题目：Graph External Attention Enhanced Transformer
作者：Jianqing Liang, Min Chen, Jiye Liang
作者研究单位：Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, School of Computer and Information Technology,
Shanxi University
, Taiyuan 030006, Shanxi, China
代码链接：
https://github.com/icm1018/GEAET
2. 研究背景
图表示学习在近年来受到广泛关注，在社交网络分析、药物发现、蛋白质设计和医疗诊断等多个领域发挥着重要作用。早期的图表示学习研究主要集中在图神经网络(GNNs)上，如GCN、GraphSage、GatedGCN和GIN等。然而，基于消息传递的GNNs存在一些关键限制，包括有限的表达能力、过平滑、过度压缩和长距离依赖性差等问题。
相对于GNN，
图Transformer（GT）通过自注意力机制捕捉节点间的全局交互信息，解决了一些GNN的典型问题
。然而，现有的研究大多只关注图的内部信息，忽略了图与图之间的潜在相关性。本文提出了一种新的外部图注意力机制（GEA），并基于此设计了一种图外部注意力增强Transformer（GEAET），以捕捉图间的相关性并结合局部结构和全局交互信息，从而实现更全面的图表示。
本文作者认为，在许多实际场景中（如分子图数据），
不同图之间通常存在强相关性
。直观上，利用图间相关性可以提高图表示学习的效果。因此，本文提出了一个关键问题：
如何将外部信息纳入图表示学习中？
图 1.ZINC 数据集中的三个分子图与苯环结构相关联。
3. 方法
本文提出了两个主要的创新方法：图外部注意力（Graph External Attention, GEA）和图外部注意力增强Transformer（Graph External Attention Enhanced Transformer, GEAET）。
GEA的核心思想是
引入外部的可学习单元来隐式学习图间相关性
。具体来说，GEA计算输入图的节点特征与外部单元之间的注意力：
其中，
是输入图的节点特征矩阵，
是一个可学习的参数，可以看作是具有
个节点的外部单元，作为所有输入图的共享存储。
表示输入图节点与外部单元之间的相似度。
为了处理注意力矩阵对输入特征尺度的敏感性，作者采用了
双重归一化技术：
在实际应用中，为了提高网络的能力，作者使用了两个不同的外部单元分别作为键和值。此外，为了利用输入图中的边信息，还引入了额外的外部单元用于边特征，以及一个共享单元来存储边和节点之间的连接：
其中，
是存储边和节点之间连接的共享单元；
是节点的外部键值单元，
是边的外部键值单元。
图外部注意力增强Transformer（GEAET）
GEAET框架由两个主要组件组成：图嵌入和特征提取层。
图嵌入部分首先对输入节点特征和边特征进行线性投影，然后使用位置编码增强节点特征：
