深度图学习与大模型LLM(小编):
大家好,今
天
向大家介绍一篇最新发布的研究论文。作者提出了一种名为Graph Chain-of-Thought (Graph-CoT)的框架,旨在增强大模型在图数据上进行推理的能力。
作者构建了一个基准数据集GrBench,其中包含了来自5个不同领域的10个图,每个图都配有对应的问答数据。Graph-CoT采用迭代的方式在图上进行推理,每次迭代由三个步骤组成:
LLM推理、LLM-图交互以及图执行
。实验表明,Graph-CoT在GrBench上的性能优于多个基线方法。
这篇论文全面探索了如何将大模型与外部知识图谱相结合的问题,提出了一种新的图推理框架,对于研究大模型与外部知识库的融合具有一定的参考价值。
1. 基本信息
论文题目:Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs
作者:Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Suhang Wang, Yu Meng, Jiawei Han
作者单位:
-
University of Illinois Urbana-Champaign
-
The Pennsylvania State University
-
论文代码:
https://github.com/PeterGriffinJin/Graph-CoT
2. 介绍
大模型(LLMs)虽然表现出色,
但由于学习到的知识主要以参数化的形式存储在模型内部,它们容易产生幻觉,生成看似合理但实际上与事实不符的内容
。为了缓解这一问题,现有工作提出利用外部文本语料作为知识来源来增强LLMs。然而,在现实场景中,文本单元通常是相互关联的,
本质是一个具有文本属性的图
。知识不仅蕴含在文本内容中,还体现在节点间的连接结构里。例如:
-
在文献图中,论文通过引用相互链接。通过遍历这种图,我们可以追踪特定研究方向发展脉络。
-
在法律图谱中,案例和意见通过边相关联。通过查找案例在图谱上的引用情况,可以验证相应判决的依据。
虽然基于文本检索的方法被用于外部知识来源来增强LLMs,但由于以下两个原因,这种方法不能直接应用于图谱类型的外部知识:
-
结构化上下文
:检索增强方法可以从图中找到单个节点或文本片段作为上下文来增强LLMs,但图谱中的知识不仅存在于单个节点或文本中,更蕴藏在节点间的结构化关系里,单纯的文本检索无法捕捉到这种结构化信息。
-
图规模巨大
:将局部子图结构转换为文本描述作为LLMs的输入上下文是可行的,但随着跳数的增加,局部子图的规模会
呈指数级增长
,导致上下文序列过于冗长。海量的无关信息可能使LLMs难以抓住重点。此外,过长的输入序列可能超出LLMs的最大长度限制。
因此,如何有效利用图信息来增强LLMs是一个亟待解决的课题。目前还木有相关方法和基准数据集。基于此,
本文构建了一个新的图推理基准数据集GrBench。
3. 方法
针对使用图谱作为外部知识来增强LLMs的问题,本文提出了一种图推理框架Graph Chain-of-Thought (Graph-CoT)。
其核心思想是引导LLMs逐步遍历图谱,找出问题所需的关键信息,而非一次性将整个子图作为上下文输入到LLMs中。
Graph-CoT采用迭代的方式进行推理,每轮迭代对应图上的一个探索步骤,由以下三个子步骤组成:
-
推理
(Reasoning):LLMs根据当前掌握的信息得出初步结论,并分析还需从图中获取哪些进一步的信息。
-
交互
(Interaction):LLMs生成与图交互所需的操作指令(例如查找特定节点,检查相邻节点等),以获取所需信息。
-
执行
(Execution):图谱根据交互步骤中的指令执行相应操作,返回查询到的信息。
通过这种迭代推理的方式,LLMs可以在图谱上进行链式探索,找到问题所需的关键信息。这一过程会持续进行,直到LLMs在推理阶段得出最终答案。
在本研究中,通过上下文学习(in-context learning)的方式,使LLMs掌握如何开展Graph-CoT推理。具体的示例可参见附录E。
4. 实验发现
本文在GrBench数据集上使用三种不同的LLM作为backbone,对Graph-CoT进行了系统的实验评估。实验结果表明,Graph-CoT在所有数据集上均优于各类基线方法。主要发现包括:
-
直接使用标准prompting的base LLMs性能较差,可能是由于LLMs本身并不包含回答这些问题所需的领域知识。
