笔记整理：金龙，浙江大学硕士，研究方向为知识图谱
论文链接：https://aclanthology.org/2024.findings-emnlp.446
发表会议：ACL 2024
1. 动机
尽管大型语言模型在各种自然语言处理任务中表现出色，但其固有的幻觉现象严重影响了它们在复杂推理中的可信度。将可解释的知识图谱与大模型相结合已经成为当下研究的重点。以知识图谱问答任务为例，当前的主要问题：1）是如何准确地从知识图谱中检索特定知识；2）如何使推理模型能够理解和利用这些结构化知识。作者通过构建子图，使用 CoT 推理进一步增强 KG 的检索能力，并重新组织了更有效的知识图谱结构，同时设计了知识图谱相关的指令和持续的预训练策略，使大模型能够有效地学习和内化这种表示形式。
2. 方法
基于子图的检索增强生成范式：
由KG检索和KG在大模型的上的推理两部分构成。
从
KG 中检索相关且有用的知识对于 KGQA 任务至关重要。知识图谱中个体知识的语义表达是有限的，并且在多跳问答中知识和问题之间的语义关系并不直接相关。因此，作者
考虑在检索知识时结合邻近的知识信息和推理过程。将从问题实体到答案实体的路径上的所有知识三元组作为正样本，并从剩余的三元组中随机采样作为负样本。为了解决训练和推理过程中
CoT质量不一致的问题，在训练过程中的提示中提供答案（如下图）
，以便
LLM能够根据答案生成合理的推理过程。
知识图谱本质上是结构化知识，而大模型通常是针对非结构化文本进行预训练的。为了弥合这一差距并使大模型能够更好地理解和利用结构化知识，提出了知识图谱的简化表示。此外，作者还采用指令调整和持续的预训练来确保大模型能够内化这两种知识。
YAML 格式的知识图谱：检索到的知识三元组可能表现出许多字面相似性，直接将这些三元组线性化作为推理LLM的输入，将会导致明显的token冗余。如下图，YAML 使用缩进来表示层次关系。将不同的头实体视为第一层，将同一头实体下的不同关系视为第二层，将同一头实体和关系下的不同尾部实体视为第三层。
同时，因为训练语料库的问题，通用的 LLM并不熟悉YAML 格式的KG。为了使LLM能够理解YAML中的KG，设计了三种类型的图相关指令微调任务：1）实体级任务，其中LLM需要根据邻居推理实体；2）关系级任务，该任务是推理实体之间的关系；3）图级任务，LLM需要理解KG的语义并转换为自然语言。通过以上三种任务帮助大模型理解YAML 的KG。
3. 实验
作者选择WebQSP和CWQ作为实验数据集，以Hits@1和F1作为WebQSP和CWQ的评估指标。选择LLaMA2-7b-Chat作为基础模型，并且选择BGE-1.5-en-base作为基础检索模型。使用 LLaMA2-70b-Chat生成高质量的推理过程，用于训练推理模型。
实验结果
：
通用 LLM 在 KGQA 任务上表现不佳，LLaMA2-7b-Chat 和 ChatGPT 都无法与 KGQA 特定模型的性能相匹，尤其是在更具挑战性的 CWQ 数据集中。这意味着大模型在理解和利用结构化知识图进行复杂推理的能力方面仍有很大的提升空间。在Hits@1指标方面，作者的方法全面超越了现有的SOTA，特别是在WebQSP数据集上，首次实现了超过90%的突破，并且作者的方法在 F1 分数方面与 SOTA 模型相当。
同时，作者比较了文章中的检索模型、无子图模型、无 CoT 模型和 BGE 模型的召回能力。实验表明作者的检索模型从 top-5 到 top-30 的召回率比其他三个模型更高，显著超过了原始的 BGE 模型。
消融实验
：
在消融实验中，最重要知识图谱的推理训练；如果没有它，模型的性能在 Hits@1 中从 68.7% 骤降到 42.6%。这表明，即使LLM对KG信息进行编码并理解其语义，如果LLM不能利用KG进行推理那将是徒劳的。第二个关键组件是检索模块。实验表明，子图信息和推理过程的作用是互补的，它们的组合使用可以最大化效果。
4. 总结
在本文中，提出了一种将可解释的知识图与大型语言模型相结合的方法，以增强复杂的推理能力。方法包括知识图谱检索模型和知识图谱推理模型。整合推理过程和子图信息以实现更好的 KG 检索。对推理模型采用了一种新颖的 KG 表示和与 KG 相关的微调，以学习使用 KG 进行理解和推理。实验表明推出的方法优于现有的强基线和 SOTA 模型。
OpenKG
OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。
点击
阅读原文
，进入 OpenKG 网站。
