ICML 2024: LLaGA-解决图数据向LLM可理解格式转换的挑战，同时保持了LLM的通用性

大家好，今天为大家介绍ICML 2024一篇关于大模型LLM的研究论文《LLaGA: Large Language and Graph Assistant》。这篇论文提出了一个框架，将大模型(LLM)的能力与图结构数据处理相结合。 该工作解决了图数据向LLM可理解格式转换的挑战，同时保持了LLM的通用性 。

1. 基本信息

• 论文题目：LLaGA: Large Language and Graph Assistant
• 作者：Runjin Chen, Tong Zhao, Ajay Jaiswal, Neil Shah, Zhangyang Wang
• 作者研究单位：

1. The University of Texas at Austin
2. Snap Inc.

2. 研究背景

图神经网络(GNNs)在图结构数据分析方面取得了显著进展。但是，将LLMs直接应用于图数据面临着独特的挑战，主要是由于将图结构转化为语言形式存在固有困难。

现有研究试图将图结构转化为适合LLMs处理的自然语言，但这种方法往往冗长且无法直接表示图的内在特征。InstructGLM通过特定任务的微调来提高LLMs在图任务上的性能，但这限制了模型的通用性。GraphGPT结合了文本描述和自监督图transformer来将图数据整合到LLMs中，但预训练的图transformer可能无法提取所有相关的结构信息。

因此，本文提出了一个关键问题： 如何开发一个框架，能够有效编码各种任务和领域的图结构信息，使LLMs能够理解，同时保持LLMs的通用性？

为解决这个问题，作者提出了Large Language and Graph Assistant (LLaGA)框架。LLaGA具有三个主要特征：

1. 通用性：LLaGA采用简单但普遍适用的方法编码图中的结构细节，并使用单一通用投影器实现图空间和token空间的对齐。

2. 泛化能力：LLaGA不仅在训练过的数据集和任务上表现出色，还能够在不需额外调整的情况下泛化到未见过的数据集和任务。

3. 可解释性：LLaGA能为节点嵌入提供详细解释，大大增强了对其决策过程的理解。

3. 方法

LLaGA框架的核心是将图输入转换为LLMs可理解的token嵌入空间。这个过程分为两个主要步骤：

1. 将图结构转换为节点序列
2. 将节点序列映射到token嵌入序列

3.1 图结构到节点序列的转换

LLaGA提出了两种节点级模板来分析图：

1. 邻域详细模板（Neighborhood Detail Template）
2. 跳跃场景概览模板（Hop-Field Overview Template）

邻域详细模板

给定中心节点 ，构建一个固定形状的采样计算树。对每一跳邻居，定义邻居采样大小 ，其中 表示第 跳的采样大小。

从 的1跳邻居集合 中随机选择 个节点形成新的邻居集 。如果 ，用占位符节点补充到 大小。

对 中的每个节点，递归采样 个邻居作为其子节点。不足的集合用占位符节点填充。

最后，对计算树进行层序遍历，将中心节点及其邻域的详细信息转换为固定长度的节点序列。

跳跃场景概览模板

这个模板使用跳跃嵌入描述不同邻域跳数的节点特征。通过对编码的文本特征进行无参数消息传递来获得跳跃嵌入。对于中心节点 ，第 跳嵌入 的计算如下：

其中 ， 是文本编码模型。

3.2 节点序列到token嵌入序列的映射

为增强LLMs对图输入的自然理解，需要将节点嵌入空间与输入token空间对齐。这通过使用经过校准的投影器