©PaperWeekly 原创 · 作者 |
沈智翔
多重图（多关系图）是由多个跨越同类型节点的图层组成的特殊异构图，具有强大的数据建模能力。无监督多重图学习（Unsupervised Multiplex Graph Learning， UMGL）的目标是在不需要人工标记的情况下学习多关系图中的节点表征。
然而，现有的研究忽略了一个关键因素：图结构的可靠性。现实图数据通常包含大量与任务无关的噪声，严重影响了 UMGL 的性能。
此外，现有的方法主要依赖于对比学习来最大化不同视图之间的互信息，这将它们限制于多视图冗余场景。现实多关系图数据往往符合更为普适的非冗余准则，如何有效捕捉视图特有（独立）的任务相关信息成为了关键问题。
在该项研究中，我们关注一个更具挑战性和现实性的任务：
如何以无监督的方式从原始多重图中学习融合图，从而减轻与任务无关的噪声，同时保留充分的任务相关信息？
为了解决这项挑战，来自电子科技大学的研究团队从理论层面严格定义了
多重图非冗余
，并提出了一种
信息感知的无监督多重图融合框架（InfoMGF）
。
该方法利用图结构学习来消除原始多图数据中的任务无关噪声，同时最大化视图共享和特有的任务相关信息，从而解决了非冗余多重图的前沿问题。理论分析保证了任务相关信息的有效学习和图融合的必要性。
在多种下游任务中，InfoMGF 超过了此前所有的无监督乃至有监督方法，具有优越的性能和鲁棒性。
本工作已被 NeurIPS 2024（机器学习三大顶会之一，CCF-A 类）会议接收。论文共同第一作者为电子科技大学的沈智翔和王硕，通讯作者为电子科技大学计算机学院的康昭副教授。
相关资料可以于如下地址访问：
Beyond Redundancy: Information-aware Unsupervised Multiplex Graph Structure Learning
论文链接：
https://arxiv.org/abs/2409.17386
代码链接：
https://github.com/zxlearningdeep/InfoMGF
项目链接：
https://neurips.cc/virtual/2024/poster/93075
1. 研究动机
此前的 UMGL 方法在理解如何利用多关系图的丰富性知识仍然存在很大的缺陷，他们忽视了图结构的可靠性。图神经网络（GNN）中的消息传递机制通常依赖于固定的图结构。不幸的是，现实图数据中的结构并不总是可靠的，多关系图通常包含大量任务无关噪声，即不相关的、异配性的或缺失的连接。
▲ 图1：多重图非冗余
鉴于无监督的任务特性，先前的模型主要采用对比学习机制来进行有效的训练。然而，近期的研究表明，标准的对比学习仅仅最大化不同视图之间共享的任务相关信息，忽略了每个视图的独立任务信息。
现实的多重图更可能是非冗余的（多重图非冗余的理论定义如下），与任务相关的信息不仅存在于多视图的共享区域中，还可能存在于某些视图的特有区域中。
例如，在真实引文网络 ACM 中，不同的研究人员撰写的属于同一主题的论文可能具有类别相关性。与 co-author 视图相比，co-subject 视图具有独立的任务相关信息。这暴露了现有 UMGL 方法中的一个关键局限性，即可能无法捕获充分的任务相关信息。
根据以上观察，研究目标可以概括如下：如何以无监督的方式从原始多重图中学习融合图，从而减轻与任务无关的噪声，同时保留充分的任务相关信息？
为了处理这项新任务，我们提出了一种新颖的信息感知的无监督多重图融合框架（InfoMGF）。本项研究的主要贡献有以下三方面：
-
研究方向：
我们开创性地提出并探索了多重图的结构可靠性问题，这是一项更加实用和具有挑战性的任务。据我们所知，本项研究是首次尝试在多重图中进行无监督图结构学习。
-
算法设计：
我们提出了 InfoMGF。基于多重图非冗余准则下，InfoMGF 同时最大化视图共享和特有的任务相关信息来引导融合图学习。此外，我们开发了随机增强和生成图增强两种策略来捕获视图特有的任务信息。相应的理论分析保证了 InfoMGF 的有效性。
-
实验评估：
我们在多样的下游任务上与各种最先进的方法进行了广泛的实验比较，以全面评估 InfoMGF 的有效性和鲁棒性。大量可视化工作也帮助展示了图结构学习的效果。
2. 研究方法
多重图数据可以表示
为
，
其中
是第
个图。我们首先使用图学习器生成每个视图的精炼图
。
为了同时保留节点特征和结构信息，我们采用 Simple Graph Convolution（SGC）在每个原始图中进行聚合，从而得到 view-specific node features
。
通过应用视图特定的两层注意力网络来建模不同特征对结构学习的不同贡献：
指代哈达玛积。这一策略使我们能够在训练前获取特定视图的特征，从而避免了基于 GNN 的图学习器在训练过程中耗时的图卷积操作，这提高了我们方法的可扩展性。
随后，我们进行 post-processing techniques 以确保邻接矩阵
满足诸如稀疏性、非负性、对称性和归一化等特性。具体来说，我们使用
构造相似矩阵，然后使用
-最近邻（
NN）对其进行稀疏化。
然后，依次使用对称、激活和规范化等操作来生成最终的
。之后，我们使用一个视图共享的 GCN 作为图编码器，以获得每个视图的节点表征
。
对于每对不同的视图，我们寻求最大化互信息
，以捕获视图之间共享的任务相关信息。最大化目标可以转化为易于处理的优化下界
为
。
最小化损失项可以表示为：
正如前文所说，为了适应普遍的非冗余场景，
不仅应该包含视图共享信息，还应该捕捉视图独立的任务相关信息
，即
。为
鼓励模型在早期训练阶段更多地关注共享的任务相关信息，我们将优化目标放宽为视图中任务相关的总信
息
。
由于缺乏标签信息，我们采用最优增强图
（满
足
）来
提供指导。后文通过理论证明了最优增强图在最大化任务相关信息
的有效性，为无监督学习奠定了理论基础。
在实验中，
是借助启发式方法来得到的。与大多数图增强研究一致，我们认为图数据中的任务相关信息同时存在于结构和特征两个方面。
特征增强采用了简单有效的随机掩码。对于结构增强，我们除了尝试随机删边（InfoMGF-RA），还提出了一种可学习的生成式图增强（InfoMGF-LA）。得到增强图后，捕捉视图独立的任务相关信息的损失项被定义如下：
2.3 可学习生成式图增强（InfoMGF-LA）
随机删边可能缺乏可靠性和可解释性。较低的丢弃概率不足以消除任务无关的噪声，而过多的删除则会损害任务相关的信息。因此，我们选择使用可学习的图增强生成器。
为了避免误导性结构信息所造成的干扰，我们基于节点特征的深层映射来对原始边进行个性化的概率建模。为了确保端到端训练中采样操作的可微性，我们引入了 Gumbel-Max 重参数化技巧，将边权重的离散二元（0-1）分布转换为连续分布。
具体来说，对于视图
中的每条边
，其在相应增强图中的边权重
计算如下：
是采样的 Gumbel 随机变量。对于良好的增强图，它一方面要与原始数据保持差异，另一方面也应保留任务相关的信息。因此，我们设计了一个合适的损失函数用于增强图训练：
其中
是正超参数。第一项使用余弦误差重建 view-specific node features，确保增强图保留关键的任务相关信息。第二项最小化
以约束增强图。
这一正则项确保在保留任务相关信息的同时最大程度地引入差异性，以实现数据增强。InfoMGF-LA 采用了一种迭代交替优化策略，交替更新精炼图
和增强图
，算法流程细节详见原文。
有效的精炼图保留了每个视图中任务相关信息，同时消除了任务无关噪声。最后，我们学习一个融合图，以封装来自所有视图的充分的任务相关信息。我们同样利用可扩展的注意力机制作为融合图学习器：
模型的整体损失由以上三项组成
。注意到，所有损失项都需要计算互信息。
然而，由于图结构数据的复杂性，直接计算两个图之间的互信息是不切实际的。由于我们专注于节点级任务，我们假设结构优化应保证每个节点的邻域子结构包含充分的任务相关信息。因此，优化目标可以转化为节点表征之间的互信息，这可以通过基于样本的可微下界/上界实现有效估计。
其中
是由神经网络近似的评价器，
是从
插入到
目标中的最佳评价器。
