专栏名称: 专知
专知,为人工智能从业者服务,提供专业可信的人工智能知识与技术服务,让认知协作更快更好!
目录
相关文章推荐
清廉蓉城  ·  濯锦时评丨“三化”建设 正当其时 ·  2 天前  
成都本地宝  ·  成都出发坐高铁去看海的6个城市推荐! ·  4 天前  
成都本地宝  ·  成都商转公贷款申请条件是什么? ·  2 天前  
成都发布  ·  厚衣服先别收!降雨降温还要来…… ·  3 天前  
51好读  ›  专栏  ›  专知

TPAMI 2025 | 图基础模型:概念、机遇和挑战

专知  · 公众号  ·  · 2025-03-12 11:00

正文

近日,北邮GAMMA Lab发布的图基础模型 观点性文章被CCF-A类期刊TPAMI接收 该论文首次提出了图基础模型的概念,对其进行了深入讨论,并展望了其未来发展方向。

标题: Graph Foundation Models: Concepts, Opportunities and Challenges

作者: Jiawei Liu*, Cheng Yang*, Zhiyuan Lu, Junze Chen, Yibo Li, Mengmei Zhang, Ting Bai, Yuan Fang, Lichao Sun, Philip S. Yu, and Chuan Shi

链接: https://ieeexplore.ieee.org/document/10915556

摘要: 基础模型已成为多种人工智能应用中的关键组件,并在自然语言处理及其它多个领域展示了显著的成功。同时,图机器学习领域正在经历从浅层方法到更为复杂的深度学习方法的范式转变。基础模型在泛化和适应能力方面的表现激励了图机器学习的研究者讨论开发新图学习范式的可能性。这种新范式设想模型能够在大量的图数据上进行预训练,并能够适应各种图任务。尽管对此兴趣日益增长,但在这一新兴领域中,明显缺乏明确的定义和系统的分析。为此,本文介绍了图基础模型(Graph Foundation Models, GFMs)的概念,并对其关键特性和底层技术进行了详尽的解释。我们根据现有工作对图神经网络和大型语言模型的依赖程度,将其分类为三个不同的类别。除了对GFMs当前状态提供一个全面的回顾之外,本文还展望了在这个快速发展的领域中未来研究的潜在方向。

图1展示了 深度图学习与图基础模型之间的区别。二者的区别在于:深度图学习通过对特定数据集进行端到端的训练来解决特定任务。相比之下,图基础模型(GFMs)是在广泛的图数据上进行预训练的,并能够适应各种下游图任务,预期能够展示出涌现和同质化的能力。

图1 深度图学习与图基础模型之间的区别
图2展示了语言基础模型和图基础模型的相似性和差异性,并将差异分为内部差异和外部差异。
图2 语言基础模型和图基础模型的相似性和差异性
图3到图5展示了三种图基础模型范式:基于GNN的方法、基于LLM的方法和基于GNN+LLM的方法。
图3 基于GNN的方法
图4 基于LLM的方法

图5 基于GNN+LLM的方法

相比于之前在arXiv发布的版本(题目:Towards Graph Foundation Models: A Survey and Beyond),TPAMI的正式版本(称为V4版本)有以下新亮点:
  1. 标题修改为“Graph Foundation Models: Concepts, Opportunities and Challenges”。
  2. 在2.1.1节,进一步解释了非欧式数据的定义、特性和挑战。
  3. 在第4到6章,新增了十余篇最新顶会上有关GFM的论文,他们来自KDD2024, NeurIPS2024, EMNLP2024, WWW2024, SIGIR2024, KDD2025和AAAI2025。
  4. 在4.4、5.4和6.4节,我们讨论了有关时序图、超图和异质图的研究。
  5. 在第7章,我们增加了有关GFM处理跨域数据的方法讨论。
  6. 在7.3.2节,我们增加了有关处理噪声、数据不平衡、数据不完整、多模态特征等问题作为未来方向。
  7. 我们对论文的引用进行了全面更新,arXiv上的论文比例 从20/222(9.0%)降至8/230(3.5%) 确保了引用的质量和时效性。

附件:更新日志

版本






请到「今天看啥」查看全文