用预训练GNN有奇效！2025发顶会就靠它了！

众所周知，图数据标注成本高昂且稀缺，如果直接用未预训练的GNN模型在少量标注数据上进行训练，效果一般都不太理想...当然，这时就该 预训练GNN 上场了。

GNN预训练通过利用未标注图数据提升模型理解能力， 增强泛化性能，这减少了数据需求、加速了训练过程。 对于很多实际应用场景来说，预训练GNN可以说是一种高效且经济的解决方案。

WWW 2024上的一篇成果可以见得，文章提出了一种GNN预训练框架GraphPro，用于推荐系统，在多个真实世界数据集上，该模型在保持高性能的同时，训练效率最高快了81倍。

另外还有AAAI 2024、LREC-COLING 2024等诸多顶会都收录了不少 GNN预训练相关的成果 ，非常建议有论文需求的同学研读，感兴趣的话可以直接看我整理好的 11篇 ，前沿有代码。

扫码添加小享， 回复“ GNN预训练 ”

免费获取 全部论文+开源代码

WWW 2024 GraphPro: Graph Pre-training and Prompt Learning for Recommendation

方法： 论文提出了一种名为GraphPro的新框架，通过结合动态图的预训练和提示学习，显著提升时间敏感的推荐系统的适应性和可扩展性。GraphPro在动态推荐场景中超越现有最先进方法，且在多个数据集上表现优异，同时在训练效率上大幅提升。

创新点：

• GraphPro框架通过将动态图预训练与Prompt学习相结合，提升了推荐系统的适应性和扩展性。
• 引入了时间Prompt机制和图结构Prompt学习机制，以使预训练的图神经网络（GNN）能够处理用户偏好的变化。
• 通过引入交互边作为Prompt边，GraphPro框架在微调阶段无需迭代更新模型参数。

AAAI 2024 Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery

方法： 论文提出了一种名为DGPM的双层图自监督预训练方法，通过自动发现子图模式和交叉匹配学习模块来有效融合节点和子图信息，旨在应对图数据预训练中的多层次信息交互挑战，并在多个图分类基准上验证了其有效性和普适性。

创新点：

• DGPM提出了一种独特的双层预训练结构，能够协调节点级别和子图级别的预训练任务。
• 引入了模体自动发现任务，能够自主挖掘图结构中的关键模式。
• 提出了一种跨匹配学习模块，用于更好地融合双层特征。

扫码添加小享， 回复“