专栏名称: PaperWeekly
PaperWeekly是一个分享知识和交流学问的学术组织，关注的领域是自然语言处理的各个方向。我们热爱知识，分享知识，希望通过我们大家的努力为自然语言处理的发展做出一点点贡献。我们每周会分享一期特定话题的论文笔记和本周值得读的相关论文。
目录
相关文章推荐
期刊投稿指南  ·  一个字都没写，也能发24分Nature子刊？ ... ·  2 天前  
募格学术  ·  支持多种中文数据库、能发SCI还能写综述，这 ... ·  20 小时前  
募格学术  ·  安家费45-55万（军队文职），年薪30-1 ... ·  昨天  
科研大匠  ·  不设项目或课题指南，项目负责人无学历、年龄限 ... ·  3 天前  
募格学术  ·  “忙得分裂”，大学“青椒”宁赔10万也要辞职 ·  3 天前  
51好读  ›  专栏  ›  PaperWeekly

WWW 2025 | 新大、中科大提出文本无关的多领域图基础模型SAMGPT

PaperWeekly  · 公众号  · 科研  · 2025-02-13 09:01

正文


©PaperWeekly 原创 · 作者 | 龚泽川
单位 | 中国科学技术大学硕士生
研究方向 | 图神经网络、协同感知

论文题目：
SAMGPT: Text-free Graph Foundation Model for Multi-domain Pre-training and Cross-domain Adaptation

论文链接：
https://arxiv.org/pdf/2502.05424

代码链接：
https://github.com/blue-soda/SAMGPT

论文录用：

The ACM Web Conference Research Track 2025



摘要

在众多在线服务中，图能够有效建模互联的实体，从而支持广泛的网络应用。这引出了一个关键问题：如何在多个源领域上训练一个图基础模型，并使其适应一个未见过的目标领域？
然而，来自不同领域的图往往表现出显著不同的特性，这成为了一个主要的障碍。一些研究尝试借助大型语言模型，通过图中附带的文本描述来对齐多个领域，但这种做法严重限制了其在带文本属性图上的应用范围。对于无文本图，尽管有少数近期研究试图跨领域对齐不同的特征分布，但它们大多忽略了结构上的差异。
为了应对这些挑战，我们提出了一种名为 SAMGPT （Structure Alignment for text-free Multi-domain Graph Pre-Training and cross-domain adaptation）的全新结构对齐框架。该框架旨在从多个源领域的图中学习多领域的知识，并将其迁移至一个未见的目标领域中应用。
具体来说，我们在预训练阶段引入了一组 结构标记（structure tokens）， 用于协调源领域间基于结构的聚合操作。接着，为了进行跨领域适应，我们设计了两类提示—— 整体提示（holistic prompts） 和 领域特定提示（specific prompts） ，前者适配统一的多领域结构知识，后者则关注细粒度的领域特有信息。

最后，我们在七个公开数据集上开展了全面的实验，深入评估并分析了 SAMGPT 的有效性。实验结果表明，该方法在多领域图预训练与跨领域适应任务中展现出了显著的优势。



动机

来自不同领域的图通常表现出独特的结构和拓扑特征，例如平均节点度数，最短路径长度和聚类系数，如表1所示。因此，在预训练期间合并没有结构对齐的多域图可能会导致干扰，而不是协同作用，导致性能次优。



方法

3.1 结构对齐的多域图预训练

对于多个源域的一组预训练图 ，由于这些域的特征和结构都可以表现出不同的分布，因此这些多域图的有效整合都需要对齐两者。
3.2 结构对齐
为协调多源域的异构结构特征，SAMGPT 为每个源域 设计层特异性结构标记 { }，修改图编码器的邻居聚合过程：

其中 为第 层结构标记， 表示逐元素相乘。结构标记通过预训练学习领域特有的拓扑模式（如节点度数分布、聚类系数等）。

通过在所有域中的图中堆叠结构对齐的输出矩阵，我们获得了整体结构对准嵌入矩阵：

最后，我们将 与 融合在一起，获得嵌入矩阵 H 的多域节点，并结合了特征和结构对齐：
其中 > 0 是一个超参数。
3.2.1 预训练损失
我们利用基于子图相似性计算的通用任务模板，该模板可确保在不同任务（例如节点分类和图形分类）之间的兼容性。统一的对比预训练目标：

其中 表示预训练中观察到的图元素的集合， ， 分别表示 的正或负实例， 而 、 、 分别是 、 、 对应的嵌入向量。 是一个相似性函数，例如余弦相似度。 是温度超参数。
3.2.2 双提示跨域结构适应
给定一个模型从源域 进行的图 进行了预训练，我们的目标是将其调整到目标域 中的图 上的下游任务中。对于结构适应，我们提出了双重提示，包括整体提示和领域特定提示。
一方面，整体提示旨在从所有源域中整体利用预训练的结构知识。另一方面，领域特定提示通过可学习的方式结合了多域结构标记，将细粒度的特定结构知识调整到目标域。
3.2.3 整体提示

为了将整体多域结构知识转移到下游任务，我们提出了一组旨在使目标域 𝐷𝑇 与在源域 d𝑆 上进行预训练的模型的整体提示。与任何预训练框架一样，我们使用带有冷冻层的编码器 。但是，关键区别在于，我们注入一系列可学习的向量 作为整体提示，基于下游结构进行聚合：

最终输出下游任务图的整体节点嵌入矩阵，称为 。
3.2.4 特定提示
与整体提示不同，特定提示旨在适配每个源域特有的结构知识。由于相关源域的知识可能更具适用性，因此需要将目标域与不同源域进行不同程度的对齐，优先考虑最相关的源域。因此，我们将特定提示定义为 ，并将其注入到预训练图编码器的不同层中。具体来说，在第 层， 是 的组合，即对应层中所有源域 的预训练结构标记。

其中， 是可学习的系数。因此，特定提示的完整可学习参数集为 。特定提示以与整体提示相同的方式修改基于结构的聚合，同时冻结图编码器的预训练权重。同样，我们将基于特定提示的输出节点嵌入矩阵称为 。
3.2.5 提示调优

为了利用预训练模型中的整体多域和特定域结构知识，我们将通过整体提示和特定提示获得的输出嵌入矩阵进行融合：

其中， 是一个超参数。进一步结合特征适应，我们获得包含特征和结构适应的整体节点嵌入矩阵，表示如下：

这里， 是与特征和结构融合中相同的超参数。对于下游节点和图分类任务，损失函数 基于与预训练损失 相同的子图相似性任务模板。设 表示带标签的训练集，其中每个 是节点或图实例，






请到「今天看啥」查看全文


推荐文章
期刊投稿指南  ·  一个字都没写，也能发24分Nature子刊？审稿人: 这是我审起来最享受的文章!
2 天前
募格学术  ·  支持多种中文数据库、能发SCI还能写综述，这个文献计量软件太顶了！
20 小时前
募格学术  ·  安家费45-55万（军队文职），年薪30-100万（博士/博后），陆军军医大学聘大量英才！
昨天
科研大匠  ·  不设项目或课题指南，项目负责人无学历、年龄限制！科技部发布国家重点研发计划颠覆性技术创新重点专项2025年度项目申报指引
3 天前
募格学术  ·  “忙得分裂”，大学“青椒”宁赔10万也要辞职
3 天前
梦幻西游  ·  微信有奖丨这个名字你猜的到吗？猜到即有豪礼相赠
8 年前
婚姻家庭那些事儿  ·  冬天这么吃，孩子个头蹿一蹿！家长必知
8 年前
济宁城网事  ·  以后夫妻吵架，就听这个歌!
7 年前
新疆949交通广播  ·  画成这样也能破案，连罪犯都崩溃：“警官，你真不是在逗我？”
7 年前
天籁之音  ·  听琴：听那古风悠悠，悟那琴德、琴魂、琴心和琴梦
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!