NeurIPS 2024 | 让大语言模型使用代码解决图分析推理任务

在本文中，研究团队首次提出了通过编程手段提升大型模型在图分析推理任务中的能力。研究过程中，他们使用了主流的开源和闭源模型，并提供了新的基准数据集ProGraph，用于评估模型在复杂图分析推理任务中的表现。此外，他们构建了LLM4Graph数据集，用于开源模型的指令微调。实验结果表明，检索增强生成（RAG）和指令微调等方法能够有效利用工作者构建的数据集，从而提升现有大型模型的性能。

论文标题：

Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models

论文链接：

https://arxiv.org/abs/2409.19667

代码链接：

https://github.com/BUPT-GAMMA/ProGraph

一、背景

与动机图是现实世界中十分常用的数据结构（例如社交网络和推荐系统等），让大语言模型（后文简称大模型）学会处理图的能力，是迈向更高级通用智能的关键一步。近期，许多研究者提出将大模型扩展到需要图理解和分析的场景，然而我们认为现有研究存在以下主要缺点：

• 现有工作解决问题的过程完全基于大模型的逐步推理。但即使在思维链（CoT）的帮助下，当前大模型的推理深度仍然很浅。这意味着当图分析任务难度较大时，很容易出现幻觉或推理错误，导致任务失败。

• 现有工作需要在提示（prompt）中对图结构进行描述，受限于上下文长度限制，无法适用于大规模图数据的处理。

• 对于Llama等开源模型，仍然缺乏面向图分析推理场景的指令微调数据集，导致结果并不理想。

• 对于ChatGPT等闭源模型，也需要构建面向图分析推理场景的外部知识库而不是仅通过提示工程来提高模型的表现。

核心思路 ：为解决上述不足，我们模仿人类专家解决问题的思路， 首次提出让大语言模型通过编写代码来解决图分析推理问题的方法 ：例如在百万级节点的图中计算最短路时，人类专家不会把整个图装进大脑做逐步推理，而是会调用NetworkX等Python库使用几行代码快速准确地解决问题。具体而言，在模型进行图分析任务时，我们引导模型编写代码并调用相关Python库，之后我们提取并执行模型回答中的相关代码来获得答案。这种基于编程的解决方式可以从文件中读取图数据，从而避开大模型上下文长度的限制，应用于任意规模的图数据分析。

为了更好地提高大模型编写代码解决图分析问题的表现，我们探索了如下方法对模型进行能力提升。

• 对于开源模型，我们构造了包含两步思维链推理（先推理应该使用的API，再编写代码）的问答数据集，使用指令微调的方式让模型学会编写代码解决问题。

• 对于闭源模型，我们收集了包括NetworkX在内6个Python库的API文档，然后使用检索增强生成（RAG）技术，让模型在回答问题前先熟悉文档信息，然后再基于文档编写代码，从而提高模型的表现。

• 我们分析了不同模型在编写代码方面的错误原因，未来可以基于这些分析，进一步提高开源模型和闭源模型编写代码解决图分析问题的能力。

二、模型框架

2.1 问题处理流程

图1 开源（左）和闭源（右）大模型图分析能力增强流程

对于闭源模型，我们从网络上获取了常用图分析任务Python库的文档，并对其进行加工处理后，使用检索增强生成（RAG）提高闭源模型的表现。

图2 两步推理思考过程示例

2.2 基准构造

图3 基准评测集构建流程

三、实验设置

• 数据集：ProGraph
• 模型：Llama-3-8B-Instruct, Deepseek-Coder-7b-Instruct-v1.5, GPT-4o, GPT-4-turbo, GPT-3.5, Gemini-Pro-1.5, Gemini-Pro-1.0, Claude-3-Haiku, Claude-3-Sonnet, Claude-3-Opus
• 评测方法：用代码执行通过率（pass rate）衡量模型编写代码的基本能力，用正确率（accuracy）衡量模型解决问题的能力。
• 微调模型框架：alignment-handbook
• 微调模型数据集：LLM4Graph

四、实验结果

4.1 基准实验

4.2 开源模型和闭源模型的性能提升

图4 使用本文构建的数据集对开闭源大模型的性能提升

4.2.1 闭源模型RAG分析

图5 RAG检索文档数对闭源模型效果的影响

4.2.2 Python代码错误类型分析

图6 不同模型代码错误类型统计

五、总结