1. 基本信息和摘要
「论文题目」
: Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments
「作者」
: Sitao Cheng, Ziyuan Zhuang, Yong Xu, Fangkai Yang, Chaoyun Zhang, Xiaoting Qin, Xiang Huang, Ling Chen, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang
「作者研究单位」
: State Key Laboratory for Novel Software Technology, Nanjing University, China; Microsoft
「摘要」
:
大型语言模型（LLMs）在结构化环境（例如知识图谱和表格）上的推理任务中展现出潜力。
「这类任务通常要求多跳推理，即将自然语言话语与环境中的实例相匹配」
。以往的研究采用LLMs逐步构建推理路径，通过与环境的交互来调用工具或选择项目。本文提出了一种名为Reasoning-Path-Editing (Readi)的新框架，允许LLMs在结构化环境中高效且忠实地进行推理。在Readi框架中，LLMs首先生成一个推理路径，仅在必要时对该路径进行编辑。通过在结构化环境上实例化路径，并在出错时提供反馈来编辑路径，实验结果表明Readi在三个KGQA和两个TableQA数据集上的有效性，显著超过了所有基于LLM的方法，并且与最先进的微调方法相当，同时大幅提高了普通LLMs的性能。
2. 介绍
LLMs的一个重要应用场景是在结构化环境（SEs）上进行推理。SEs通过专用模式抽象了现实世界的语义，用于表示、存储和查询数据的关系结构。成功推理的关键在于弥合自然语言与SEs的表示和操作机制之间的差距。
尽管LLMs展现出了处理复杂推理任务的潜力，但在面对大规模SEs的多跳推理时，它们的性能往往受限。为了忠实地进行推理，先前的工作采用了迭代方法，从特定元素开始，逐步扩展推理路径。然而，这种方法牺牲了推理效率，限制了其实际应用的可行性。此外，LLMs在每一步基于历史记录做出选择，容易导致错误传播。另一种方法是通过人工标注的监督来微调模型参数，使模型在推理时回忆模式来构建推理路径，但这种方法不能保证模型输出与SEs的一致性，且严重依赖于标注，对于大规模SEs而言，获取标注是困难的。
为了解决这些问题，本文提出了Readi框架，它利用LLMs的内在规划能力，在结构化环境中进行复杂推理。
「Readi框架的核心思想是，LLMs首先生成一个推理路径，然后在SEs上实例化该路径，仅在实例化过程中出现问题时进行编辑。这种方法减轻了LLMs逐步交互的负担，提高了整体效率。此外，Readi通过收集推理日志作为即时反馈，动态指导推理路径的完善，增强了推理的忠实度。实验结果表明，Readi在KGQA和TableQA任务上优于现有解决方案。」
3. 方法
3.1 概览
Readi框架的实现基于以下步骤：首先，给定一个问题和一组主题实体，利用LLMs的内在规划能力生成初始推理路径；然后在知识图谱（KG）上实例化该路径；如果实例化过程中出现错误，则收集错误信息并指导LLMs修正推理路径；最后，利用合并后的实例化路径集合构建一个基于LLM的推理模块来回答问题。
3.2 推理路径生成
推理路径生成阶段，LLMs利用链式思维（Chain-of-Thought, CoT）从每个主题实体出发生成初始路径。例如，对于问题“哪个国家与法国接壤并包含服务尼美根的机场？”，推理路径可能是“[尼美根]服务于机场→包含[法国]接壤→国家”。
3.3 推理路径实例化
实例化阶段涉及关系绑定和路径连接两个步骤。关系绑定是将推理路径中的自然语言关系与KG中的关系模式相匹配。
「路径连接则是检查KG中是否存在从起始实体开始的路径实例，其中关系按顺序匹配绑定的候选关系。」
3.4 推理路径编辑
当实例化过程中出现错误时，会触发推理路径编辑。
「编辑过程包括总结错误原因和准备有用的信息，如当前半路完成的实例和可能的候选关系。」
然后，LLMs根据这些信息修正推理路径。
