IEEE TNNLS期刊：面向跨网络边分类的域自适应图注意力监督网络

本文介绍一篇 IEEE TNNLS 期刊发表的论文，面向跨网络边分类的域自适应图注意力监督网络 [1]。

论文作者：

论文单位：

论文链接：

论文代码：

前言

图神经网络（GNN）在图表示学习方面取得了显著的成就，而 GNN 的成功依赖于递归地进行邻居节点聚合。这种邻居聚合操作基于网络的同质性假设，即连接的节点通常具有相同的标签。

然而，真实世界的图通常包含连接具有不同标签的节点的噪声边。通过这种噪声边进行邻居聚合，使得不同类别的节点信息将混合在一起，导致过平滑问题，即不同类别的节点嵌入变得无法区分，GNN 的性能明显下降。

为了减轻噪声边的负面影响，近期一些 GNN 方法 [2-7] 通过预测节点对之间的标签一致性，并基于预测结果，在邻居节点聚合过程中过滤噪声边或降低噪声边的权重。然而，这些工作都是在单个网络中进行的，当前缺少针对跨网络的噪声边的预测工作。

为了填补这一空白，该论文首次定义了跨网络同嗜边和异嗜边分类（Cross-network Homophilous and Heterophilous Edge Classification, CNHHEC）问题。

如图 1 所示，根据边上两个节点之间的标签一致性，边被标记为同嗜边（Homophilous edges）或异嗜边（Heterophilous edges），其中，同嗜边表示两个相连节点至少有一个共同的类别标签，而异嗜边表示两个相连节点的类别标签完全不同。

在 CNHHEC 问题中，给定一个完全标记的源网络和一个完全未标记的目标网络，两个网络之间存在固有的域间差异，其目的是通过迁移源网络中的学习知识，将目标网络中的边准确分类为同嗜边或异嗜边。

模型

该论文提出首个针对跨网络同嗜边和异嗜边分类的模型，即域自适应图注意力监督网络（Domain-adaptive Graph Attention-supervised Network, DGASN），模型框架如图 2 所示。

首先，该模型通过联合训练节点嵌入和边嵌入，学习可有效区分同嗜边和异嗜边的嵌入表示；其次，该模型创新地在图注意学习过程中采用直接监督的方式，一方面，减少异嗜边的注意力权重，以降低其在邻居聚合过程产生的负面影响，另一方面，增大同嗜边的注意力权重，以增强其在邻居聚合过程中的正面影响，从而更有效地区分同嗜边和异嗜边。

最后，该模型采用对抗域适应学习具有网络不变性的边嵌入，以有效迁移源网络的知识为目标网络进行同嗜边和异嗜边分类。

▲ 图2 DGASN 模型框架图

通过 Multi-head GAT，得到源网络和目标网络的节点嵌入：

随后引入一个 MLP 作为节点分类器 ，源网络的节点分类损失为：

最小化 引导模型学习具有标签鉴别性的节点嵌入，这有利于区分同嗜边（连接具有相同标签的节点的边）和异嗜边（连接拥有完全不同标签的节点的边）。

随后，可通过以下某一方式，基于边两端的节点嵌入，构造该边的嵌入：

另外，也引入一个 MLP 作为边分类器 ，源网络的边分类损失为：

其中， 表示边的真实标签是同嗜边， 表示边的真实标签为异嗜边。最小化 引导模型学习具有标签鉴别性的边嵌入，已有效区分同嗜边和异嗜边。

图 3 展示了 DGASN 中节点嵌入和边嵌入的联合训练过程。一方面，通过优化节点分类损失 ，学习到类别可鉴别性的节点嵌入。那么，同嗜边（如图 3 中 ）将基于两个相同类别的节点嵌入构建边嵌入，而异嗜边（如图 3 中 ）将基于两个具有不同类别的节点嵌入构建边嵌入。

因此，基于类别可鉴别性的节点嵌入，可以隐式地学习类别可鉴别性的边嵌入，以区分同嗜边和异嗜边。

另一方面，通过直接优化由真实源网络边标签监督的边分类损失 ，可以显式地学习类别可鉴别性的边嵌入。

▲ 图3 节点嵌入和边嵌入的联合训练过程

原始的 GAT [8] 对图注意力学习的监督是有限和间接的 [9, 10]，无法保证学习的注意力权重可有效区分同嗜边和异嗜边。DGASN 设计了一个有监督的注意力损失，对每层 GAT 学习的注意力权重进行直接监督，以有效降低异嗜边的注意力权重，而增大同嗜边的注意力权重。

▲ 图4 直接监督图注意力学习示意图

图 4 示例了对第 层 GAT 学习的图注意力权重进行直接监督。首先，对第 层的所有 个注意力头取平均，获得每条边的注意力权重：

2.3 对抗域适应

▲ 图5 对抗域自适应示意图

DGASN 采用对抗域适应技术，减少源网络和目标网络之间的域差异。采用 MLP 构建域鉴别器 ，将源网络和目标网络的边嵌入作为域鉴别器的输入。基于边嵌入的真实域标签，定义域分类损失函数：

在对抗域适应中，域鉴别器 和 GNN 编码器 如同博弈中的两个玩家，一方面，引导 准确预测每条边来自哪个网络；另一方面，引导 学习具有网络不变性的边嵌入来欺骗 。为了同时更新 和 的可学习参数，如图 5 所示，在反向传播过程中插入一个梯度反转层 GRL。

结合边分类损失 、节点分类损失 、直接监督的注意力损失 、和域分类损失 ，DGASN 的总体目标函数为：

实验

论文采用 ACMv9（A），DBLPv7（D），Citationv1（C）三个真实世界的跨网络分类基准数据集 [11] 进行实验。每个数据集表示一个论文引用网络，数据集的统计信息如 TABLE 1 所示。选择其中一个数据集作为源网络，另一个数据集作为目标网络，可构建 6 组 CNHHEC 任务，即C→A, D→A, A→C, D→C, A→D, C→D。

由于 CNHHEC 属于非平衡二分类问题（即同嗜边的数量远大于异嗜边的数量），该论文采用 AUC 和 AP 作为评价指标。

该论文对比了 10 种 SOTA baselines，包括基于链接预测或噪声边检测的图神经网络（VGAE [12]，AGE [13]， SuperGAT [10]，LAGCN [4]，RS-GNN [5]），和跨网络节点分类模型（CDNE [11]，ACDNE [14]，AdaGCN [15]，UDAGCN [16]，ASN [17]）。

TABLE 2 展示了采用 Concatenate 方式构建边嵌入的实验结果。主要发现如下：

1）论文提出的 DGASN 模型在 6 组跨网络同嗜边和异嗜边分类任务中，均取得了最优结果。

2）图神经网络 baselines 未能实现令人满意的性能。虽然 SuperGAT 也对图注意力学习采用直接监督，但与 DGASN 不同，SuperGAT 以两个节点间是否存在边来引导注意力权重，而 DGASN 以同嗜或异嗜边标签来引导注意力权重。此外，尽管 LAGCN 和 RS-GNN 采用边分类器来区分同嗜边和异嗜边，但它们是基于单一网络场景设计的，没有考虑不同网络之间固有的域差异。

3）跨网络节点分类 baselines 也无法有效解决跨网络同嗜边和异嗜边分类问题。这是因为一方面，它们采用固定边权重的 GNN 编码器学习节点嵌入，导致由同嗜边连接的邻居节点和由异嗜边连接的邻居节点无法明显区分。而 DGASN 则设计直接监督的图注意力机制，可有效缓解异嗜边在邻居聚合过程中产生的负面影响。

另一方面，虽然这些跨网络节点分类模型可以有效减少域差异，学习到具有网络不变性的节点嵌入，但它们无法保证基于节点嵌入构造的边嵌入，也具有标签鉴别性和网络不变性。而 DGASN 对节点嵌入和边嵌入进行 end-to-end 联合训练，确保学到的节点嵌入和边嵌入均具有标签鉴别性和网络不变性，以有效解决跨网络同嗜边和异嗜边分类问题。

▲ 图6 直接监督图注意力消融实验结果

图 6 展示了直接监督图注意力的消融实验结果。如图 6（b）所示，在对源网络进行直接监督注意力的情况下，源网络中同嗜边的注意力权重会大于异嗜边的注意力权重。而如果没有对源网络进行直接注意力监督，一些同嗜边的注意力权重甚至会小于异嗜边的权重，如图 6（a）所示。

此外，对已标记的源网络进行直接注意力监督，而对于未标记的目标网络即使不进行直接注意力监督，如图 6（d）所示，目标网络中大多数的同嗜边仍然比异嗜边拥有更大的注意力权重。这是因为通过对抗域适应，DGASN 可学到具有网络不变性的边嵌入，即目标网络可具有与源网络相似的边嵌入分布，以有效区分同嗜边和异嗜边。

总结

该论文首次定义了跨网络同嗜边和异嗜边分类 CNHHEC 问题。针对该问题，论文提出域自适应的图注意力监督网络模型 DGASN。DGASN 采用多头 GAT 构建 GNN 编码器，并将节点嵌入和边嵌入端到端地联合训练，从而学习信息丰富的嵌入以区分同嗜边和异嗜边。

为了提高原始 GAT 中图注意力的表达能力，DGASN 设计了直接监督的图注意力损失，基于源网络的已知边标签，对图注意力权重的学习进行直接监督，从而在邻居聚合过程中，为异嗜边赋予较低的注意力权重，而为同嗜边赋予较高的注意力权重。这将产生更具类别鉴别性的节点嵌入来区分不同类别的节点，从而得到更具类别鉴别性的边嵌入以区分同嗜边和异嗜边。

此外，DGASN 采用对抗域适应技术学习具有网络不变性的边嵌入。在跨网络分类基准数据集上的丰富实验结果表明，DGASN 可有效解决跨网络同嗜边和异嗜边分类问题。

参考文献

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧