LOGS第2024/03/02期 || 圣路易斯华盛顿大学刘昊：如何设计一个图通用模型?（ICLR'24 Spotlight)

深度学习与图网络 · 公众号 · · 2024-03-01 14:02

正文

独行速，众行远。图学习研讨会（LOGS）公众号不定期地举行图学习以及机器学习相关的研讨会，邀请相关领域的专家，一线科研人员和顶会论文作者进行分享，希望能够给大家提供一个相互交流，研讨，和学习的平台。如果您有相关的研究，想要研讨与分享，或者有感兴趣的topic和论文也欢迎给我们留言。 本次研讨会我们邀请的是来自圣路易斯华盛顿大学刘昊 ，她将会为我们带来 如何设计一个图领域的通用模型 相关内容的探讨。

报告内容

	图学习研讨会
报告时间	2024年03月02日（周六） 10:00（北京时间）
报告主题	如何设计一个图领域的通用模型？ (ICLR'24 Spotlight)
报告嘉宾	刘昊（圣路易斯华盛顿大学）

内容简介

在人工智能领域，设计一个能够处理多个任务的单一模型一直是一个长期的目标。大语言模型已经展现其在语言领域内解决不同任务的能力，然而如何设计一个图领域的通用模型仍需要探索。与自然语言领域相比，图领域的通用模型设计面临着许多独有的困难。1）不同图数据具有独特属性和分布，难以统一训练框架；2）图任务多样，如节点，链路，全图任务，需不同的任务表示形式与图模型；3）图的in-context learning需要设计有效图提示范式。为解决以上挑战，本文提出了一个名为”One for All“ （OFA）的通用框架，能够使用单一图模型来解决图领域学习多种分类问题。OFA通过使用文本属性图来统一不同的图数据，将节点和边通过自然语言描述，并利用语言模型来编码多样且可能跨领域的文本属性，生成同一嵌入空间中的特征向量。此外，OFA引入了“Nodes of Interest”概念来为不同任务提供统一的任务表示，并提出了一种新颖的图提示范式，通过向输入图添加提示子结构来处理多样化的任务，无需微调即可进行多种预测任务。

分享嘉宾