专栏名称: 数据派THU

本订阅号是“THU数据派”的姊妹账号，致力于传播大数据价值、培养数据思维。

NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型

数据派THU · 公众号 · 大数据 · 2024-11-21 17:00

正文

来源：深度图学习与大模型LLM




    
本文5600字，建议阅读11分钟
本文简要介绍了经典图神经网络 (GNNs) 的基准分析研究，发表在 NeurIPS 2024。

论文题目：Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification

作者：罗元凯，时磊，吴晓明

单位：北京航空航天大学、香港理工大学

日期：2024年10月31日

本文简要介绍了经典图神经网络 (GNNs) 的基准分析研究，发表在 NeurIPS 2024。文章回顾了经典GNNs模型在节点分类任务上的表现，结果发现过去SOTA图学习模型报告的性能优越性可能是由于经典GNNs的超参数配置不佳。通过适当的超参数调整，经典GNNs模型在18个广泛使用的节点分类数据集中的17个上超越了最新的图学习模型。本研究旨在为GNNs的应用和评估带来新的见解。

论文链接：

https://arxiv.org/abs/2406.08993

代码链接：

https://github.com/LUOyk1999/tunedGNN

1. 引言

节点分类是图机器学习中的一个基本任务，在社交网络分析、生物信息学和推荐系统等多个领域中具有广泛的高影响力应用。图神经网络（GNNs）已成为解决节点分类任务的强大模型。GNNs通过迭代地从节点的邻居中聚合信息，这一过程被称为消息传递，利用图结构和节点特征来学习有用的节点表示进行分类。尽管GNNs取得了显著的成功，但研究指出它们存在一些局限性，包括过度平滑、过度压缩、对异质性缺乏敏感性以及捕获长距离依赖的挑战。

最近，Graph Transformer（GTs）作为GNN的替代模型受到越来越多的关注。与主要聚合局部邻域信息的GNNs不同，Transformer架构通过自注意力层可以捕获任意节点对之间的交互。GTs在图级任务（如涉及小规模图的分子图分类）上取得了显著成功。这一成功激发了尝试将GTs应用于节点分类任务的努力，特别是在大规模图上，以应对GNNs的上述局限性。尽管最新的GTs取得了令人鼓舞的成果，但观察到许多此类模型在显性或隐性层面上仍然依赖于消息传递来学习局部节点表示，将其与全局注意力机制结合以获得更全面的表示。

这促使我们重新思考：消息传递GNNs在节点分类中的潜力是否被低估了？虽然已有研究在一定程度上解决了这一问题，但这些研究在范围和全面性上仍存在局限性，例如数据集数量和多样性有限，以及超参数的考察不完整。在本研究中，我们全面重新评估了GNNs在节点分类中的表现，使用了三种经典的GNNs模型——GCN、GAT和GraphSAGE——并在18个真实世界的基准数据集上进行了测试，包括同质性、异质性和大规模图。我们考察了GNNs训练中的关键超参数对其性能的影响，包括normalization、dropout、residual connections和network depth。主要发现总结如下：

经过适当的超参数调整，经典GNNs在同质性和异质性图中的节点分类任务中均能取得高度竞争力的性能，甚至在节点数量达百万量级的大规模图上也是如此。值得注意的是，经典GNNs在18个数据集中有17个超越了最先进的图学习模型，表明GTs对比GNNs所宣称的优势可能是由于在GNNs评估中超参数配置不佳
我们的消融研究对GNNs节点分类中的超参数提供了见解。我们验证了：

Normalization对于大规模图至关重要
Dropout一致地表现出积极影响
Residual connections在异质性图上可以显著增强性能
在异质性图上，较深的层数可能更适合GNNs

2. 方法介绍

2.1 数据集概述

同质性图：Cora、CiteSeer和PubMed是三种常用的引用网络[1]。我们遵循传统的半监督设定[2]来划分数据集。此外，Computer和Photo是公共购买网络[3]，CS和Physics是公共作者网络[3]，我们采用训练/验证/测试划分为60%/20%/20%的标准[4]。我们还使用了Wiki-CS[5]，该数据集是由计算机科学论文组成的引用网络，我们使用[5]的划分
异质性图：Squirrel和Chameleon是两个Wikipedia特定主题的页面网络[6]。我们采用异质图基准测试[7]中的新的数据集划分。此外，我们还使用Roman-Empire、Amazon-Ratings、Minesweeper和Questions四个异质性数据集[7]，这些数据集的划分和评估指标遵循其来源[7]的标准
大规模图：我们使用了由Open Graph Benchmark (OGB)[8]发布的多个大规模图，包括ogbn-arxiv、ogbn-proteins和ogbn-products，节点数量从0.16M到2.4M不等。此外，我们还分析了社交网络pokec[9]的性能表现
‍

2.2 超参数设置

我们的重点在于经典GNNs模型（GCN、GraphSAGE、GAT）与最先进的图学习模型的比较。我们对经典GNNs进行了超参数调整，并与Polynormer[4]的超参数搜索空间保持一致。同时，所有基准baselines也在相同的超参数搜索空间和训练环境下重新训练。

2.3 关键超参数

在本节中，我们概述了GNNs训练中的关键超参数，包括normalization、dropout、residual connections和network depth。这些超参数在不同类型的神经网络中被广泛应用，以提升模型性能：

Normalization：在每一层激活函数之前使用layer normalization（LN）或batch normalization（BN），可以减少协变量偏移，稳定训练过程并加速收敛
Dropout：在激活函数之后对特征嵌入使用dropout来减少隐藏神经元间的共适应，有助于降低GNNs中消息传递的共适应效应
Residual Connections：通过在层之间引入residual connections，可以缓解梯度消失问题，增强GNNs的表现力
Network Depth：尽管深层网络能够提取更复杂的特征，但GNNs在深度上面临独特挑战，如过度平滑等。因此，大多数GNNs采用较浅的结构，通常包含2到5层。然而，我们的实验发现如果搭配上residual connections，GNNs可以拓深至10层的网络

3. 实验结果

3.1 主要发现

关于同质性图的观察：经典GNNs在同质性图的节点分类任务中，仅需对超参数进行轻微调整，便能够具备很强的竞争力，且在很多情况下优于最先进的GTs。

关于异质性图的观察：我们的参数调整显著提高了经典GNNs在异质性图上的先前最佳结果，超越了为此类图专门设计的专用GNNs模型，甚至超过了SOTA GTs架构。这一进展不仅支持了[7]中的发现，还进一步强化了其结论，即经典GNNs在异质性图上也是强有力的竞争者，挑战了它们主要适用于同质性图结构的普遍假设。

关于大规模图的观察：我们的参数调整显著提升了经典GNNs的先前结果，在某些情况下准确率提升达到了两位数。它们在这些大规模图数据集（无论是同质性还是异质性）中取得了最佳结果，甚至超过了最先进的GTs。这表明消息传递在大规模图上学习节点表示仍然非常有效。

3.2 消融分析

消融观察1：Normalization在大规模图的节点分类中非常重要，但在小规模图中则不太显著。

消融观察2：Dropout对于节点分类始终是必要的。

消融观察3：Residual Connections能够显著提升某些数据集上的性能，且在异质性图上的效果比同质性图上更为显著。

消融观察4：更深的网络通常在异质性图上带来更大的性能提升，相较于同质性图表现更为明显。

总结

我们的研究对经典GNNs模型在节点分类任务中的有效性进行了全面的重新评估。通过广泛的实证分析，我们验证了这些经典GNNs模型能够在各种图数据集上达到甚至超越最先进图学习模型的性能。此外，我们的全面消融研究提供了关于不同GNNs超参数如何影响性能的见解。我们希望我们的研究结果为GNNs的应用和评估带来新的见解。

参考文献

[1] Prithviraj Sen, Galileo Namata, Mustafa Bilgic, Lise Getoor, Brian Galligher, and Tina Eliassi- Rad. Collective classification in network data. AI magazine, 29(3):93–93, 2008.

[2] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.

[3] Oleksandr Shchur, Maximilian Mumme, Aleksandar Bojchevski, and Stephan Günnemann. Pitfalls of graph neural network evaluation. arXiv preprint arXiv:1811.05868, 2018.

[4] Chenhui Deng, Zichao Yue, and Zhiru Zhang. Polynormer: Polynomial-expressive graph transformer in linear time. arXiv preprint arXiv:2403.01232, 2024.

[5] Péter Mernyei and Ca ̆ta ̆lina Cangea. Wiki-cs: A wikipedia-based benchmark for graph neural networks. arXiv preprint arXiv:2007.02901, 2020.

[6] Benedek Rozemberczki, Carl Allen, and Rik Sarkar. Multi-scale attributed node embedding. Journal of Complex Networks, 9(2):cnab014, 2021.

[7] Oleg Platonov, Denis Kuznedelev, Michael Diskin, Artem Babenko, and Liudmila Prokhorenkova. A critical look at the evaluation of gnns under heterophily: Are we really making progress? arXiv preprint arXiv:2302.11640, 2023.

[8] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. Advances in neural information processing systems, 33:22118–22133, 2020.

[9] Jure Leskovec and Andrej Krevl. Snap datasets: Stanford large network dataset collection. 2014. 2016.