深度图学习与大模型LLM(小编):
大家好,今天向大家介绍一篇最新发布的研究论文（20240530）。这篇论文探讨了如何通过引入GNN来提高大模型在任务规划(task planning)中的性能。
论文分析了LLMs在任务规划上的局限性,并提出了一种简单而有效的解决方案。
1. 基本信息
论文题目:Can Graph Learning Improve Task Planning?
作者:Xixi Wu, Yifei Shen, Caihua Shan, Kaitao Song, Siwei Wang, Bohang Zhang, Jiarui Feng, Hong Cheng, Wei Chen, Yun Xiong, Dongsheng Li
作者研究单位:
-
-
-
-
Washington University, Saint Louis
-
The Chinese University of Hong Kong
-
论文代码:https://github.com/WxxShirley/GNN4TaskPlan
2. 研究背景
任务规划旨在将用户的请求分解为可解决的子任务,进而完成原始请求。
在任务规划中,子任务可以表示为一个图(graph),其中节点代表子任务,边表示子任务之间的关系。因此,
任务规划本质上是在图上选择一条连通路径或子图并执行的决策问题。
基于这一视角,本文分析了LLMs在任务规划中的能力。研究发现,LLMs在识别任务结构方面存在一定的局限性。
本文首先调研了Transformer在处理序列化图输入(如边列表表示)的图任务时的能力。实验发现,尽管边列表输入并不能直接反映图的几何结构,但可以通过模拟边列表上的动态规划算法来解决图决策问题。但是,本文也发现
LLMs的解决方案缺乏图同构不变性。
此外,
如果注意力(attention)是稀疏的,表达能力会被削弱。
除了表达能力外,本文还考察了自回归损失(auto-regressive loss)的影响,
证明其引入了可能有害于图决策任务的虚假相关性。
这些insight揭示了LLMs在任务规划以及更广泛的图相关问题中的固有局限性。
为了解决这些局限性,本文用LLMs将模糊的用户请求分解为详细的步骤。然后,利用GNN根据这些详细步骤和对应的子任务描述来检索相关的子任务。值得注意的是,如果采用无参数的GNN模型(如SGC),该方法可以在无需训练的情况下实现。对于基于训练的方法,本文应用贝叶斯个性化排序(Bayesian Personalized Ranking, BPR)损失来促进从隐式子任务排序中学习。
3. 方法
与LLMs不同,
GNNs可以严格地在任务图上操作,从而避免产生幻觉(hallucination)。
此外,
GNNs利用图结构作为输入,而不是将图展平为序列,从而克服了前面讨论的理论局限性。
具体来说,本文考虑了training-free和基于training-based两种方法。
对于training-free的方法,本文采用了参数无关的GNN,即简化图卷积(Simplified Graph Convolution, SGC):
在为步骤
选择任务节点时,使用e5-355M嵌入LLMs生成的步骤为
。给定先前选择的任务节点序列
,根据以下公式选择下一个节点
:
其中
是节点嵌入。特别地,
可以从整个图中选择。
这种逐个节点选择的方法受到GNNs用于组合优化等决策问题的传统研究的启发。
对于training-based的方法,推理过程与无需训练的方法类似,不同之处在于用参数化的GNN(如GAT或GraphSAGE)替代了无参数的GNN。训练损失采用贝叶斯个性化排序(BPR)损失:
其中
