论文浅尝 | UrbanKGent：基于大模型智能体的城市知识图谱构建框架（NeurIPS2024）

开放知识图谱 · 公众号 · 大数据科技自媒体 · 2024-12-16 19:40

主要观点总结

本文介绍了浙江大学博士郭凌冰关于城市知识图谱构建的研究。针对城市知识图谱构建（UrbanKGC）目前严重依赖于人力工作的问题，提出了基于大模型智能体的UrbanKGent框架，用于高效完成UrbanKGC任务。通过全面评估，UrbanKGent家族不仅优于31个对比方法，而且在成本较低的情况下也提高了超过10%的性能。主要贡献包括新颖高效的UrbanKG构架框架、增强迭代推理轨迹模块及混合微调模块等。文章还描述了面临的挑战和实验方法，并给出了数据集统计和实验结果。最后，总结了UrbanKGent的优势和未来的研究方向。

关键观点总结

关键观点1: 研究背景

城市知识图谱已成为新兴的数据集成模块，但构建过程仍严重依赖人力，阻碍了其发展潜力。

关键观点2: 研究方法

提出了基于大模型智能体的UrbanKGent框架，包括知识指令集、工具增强迭代推理轨迹模块和混合指导微调。

关键观点3: 实验与结果

在真实世界数据集上进行实验，结果显示UrbanKGent家族在UrbanKGC任务中优于其他模型，并且成本低约20倍。

关键观点4: 主要贡献

提出了新颖的UrbanKG构架框架、增强迭代推理轨迹模块和混合微调模块，提高了大模型智能体在构建城市知识图谱时的推理能力和地理空间信息感知能力。

关键观点5: 挑战与未来研究

面临如何适应城市知识图谱构建的挑战，如何提高LLMs的UrbanKGC能力，以及改进地理空间计算和推理能力等方面的挑战。未来的研究方向包括优化大模型智能体的性能，扩大应用范围等。

正文

请到「今天看啥」查看全文

笔记整理：郭凌冰，浙江大学博士，研究方向为知识图谱表示学习

论文链接：https://arxiv.org/abs/2402.06861

发表会议：NeurIPS 2024

1. 动机

城市知识图谱已经成为一种新兴的数据集成模块，用于从多源城市数据中提炼关键知识，服务于不同城市应用场景。尽管前景巨大，但城市知识图谱构建（ UrbanKGC ）目前仍严重依赖于人力工作，严重阻碍了其潜在发展。本文提出的 UrbanKGent ，是一个统一的大型语言模型智能体框架，专用于城市知识图构建。具体来说， UrbanKGent 首先了知识指令集，其能够利用异构性感知和地理空间注入以高效完成 UrbanKGC 任务，如关系三元组提取和知识图谱补全。之后， UrbanKGent 利用工具增强迭代推理轨迹模块，以增强和改进从 GPT-4 中提炼出的推理轨迹。最后，通过在 Llama 2 和 Llama 3 等开源大模型家族上使用增强后的推理轨迹数据进行混合指导微调，得到 UrbanKGC 智能体家族，如 UrbanKGent-7/8/13B 。本文对两个真实世界数据集进行了全面评估，同时使用人工评估和 GPT-4 自我评估。实验结果表明， UrbanKGent 家族不仅在 UrbanKGC 任务中明显优于 31 个对比方法，而且在成本大约低 20 倍的情况下，也比最先进的 GPT-4 等模型提高了超过 10% 。与现有基准相比， UrbanKGent 家族只需使用五分之一的数据就能构建出具有数百倍更丰富关系的 UrbanKG。

2. 贡献

本文的主要贡献有：

（1）提出了一种新颖高效基于大模型智能体的 UrbanKG 构架框架。

（2）提出了增强迭代推理轨迹模块及混合微调模块，用于提升大模型智能体在构建城市知识图谱时的推理能力和地理空间信息感知能力。

（3）对基准数据集进行的大量实验表明， UrbanKG 在低训练开销下实现了最先进的性能。

3. 方法

构建一个与各种 UrbanKGC 任务兼容的 LLM 智能体是一个具有挑战性的问题：

挑战 1 ：如何使 LLMs 适应 UrbanKGC ？由于训练 LLMs 的自然语言处理语料库与城市领域的特定语料库之间存在差距， LLMs 可能无法很好地与特定任务对齐。例如，城市文本数据通常是异质的，包含多方面的城市知识（例如空间、时间和功能方面）。如下图所示，“哥伦比亚大学”的文本描述反映了其地理空间位置（即空间关系）、建设时间线（即时间关系）以及其为城市提供教育服务的方式（即功能关系）。 LLMs 可能需要先对齐以准确理解异质的城市关系，并进一步提取这些城市空间、时间和功能关系。

挑战 2 ：如何提高 LLMs 的 UrbanKGC 能力？ LLMs 对城市知识图构建的有效性受到其薄弱的数值计算能力的限制，导致它们在复杂地理空间关系的提取方面存在缺陷。然而，城市地理空间关系在城市语义建模中起着重要作用，并已广泛纳入先前的 UrbanKGs 。如下图中所示，提取的 “哥伦比亚大学”和“帝国大厦”之间的“不相连”地理实体关系，对于城市地理语义建模是有用的。准确提取这种地理空间关系需要必要的地理空间计算能力（例如利用纬度和经度进行距离计算）和推理能力（即推导地理空间关系推理的计算结果）。改进 LLMs 的地理空间计算和推理能力以满足 UrbanKGC 任务的要求是值得深入研究的。

图 1 城市知识图谱构建的例子

UrbanKGent 框架的整体流程下图 2 所示：

（1）知识指令生成包括考虑异质性的和融入地理空间信息的模块，用于使 LLMs 与 UrbanKGC 任务对齐。

（2）工具增强的迭代轨迹细化提出了地理空间工具接口调用和迭代自我细化机制，以增强和改进生成的轨迹。

（3）混合指导微调基于细化的轨迹对 LLMs 进行微调，以高效地完成各种 UrbanKGC 任务。

图 2 UrbanKGent 框架

在指令设计中，对于异质性感知模块，本文分别构造了多个不同的视角，如空间，时间，功能性等等。对于输入文本，本文从不同的视角出发以多轮问答对话的方式来完成命名实体识别、关系抽取、三元组抽取等子任务。对于地理空间信息融合模块，本文通过引入地理位置信息，如经纬度到指令中，使大模型利用这些信息进行推理。

在构建完最初的指令集之后，本文使用推理轨迹的方式使大模型微调到 UrbanKGC 任务。这一方式借鉴了现有的思考链 Chain-of-Thought (CoT) 方法，一种无需梯度更新的技术，通过引导大模型逐步推理的方式来完成城市知识图谱构建。

最后，由于使用 G PT4 模型的开销是巨大的，本文还提出基于推理轨迹的混合指令微调方法，即将部分 G PT 4 生成的数据与训练集混合以 LoRA 的方式微调开源大模型，如 L lama 2 、 Ll ama 3 等，这一方式大大节省了推理时的资源开销。

4. 实验

本文使用的两个纽约（ NYC ）和芝加哥（ CHI ）数据集的统计信息如下表 1 所示。本文首先构建了两个小数据集（即 NYC-Instruct 和 CHI-Instruct ）用于指导微调，以及两个中等数据集（即 NYC 和 CHI ）来验证构建的 UrbanKGC 智能体的性能。剩余的数据作为大规模 UrbanKGC 数据集（即 NYC-Large 和 CHI-Large ）。这三种类型的数据集是不重叠的，以防止数据泄漏。

表 1 数据集统计

实验结果如表 2 所示。可以看出，本文所提出的知识图谱构建智能体在两个数据集上优于所有 31 个基准模型。具体而言， UrbanKGent-13B 相对于 GPT-4 在相同推理流程下实现了（ 15.56% ， 14.29% ， 14.89% 和 11.90% ）的提升。在芝加哥的提升分别为（ 15.22% ， 17.07% ， 13.46% 和 13.95% ）。此外， UrbanKGent-7/8B 也实现了与 GPT-4 相当的性能。

表 2 城市知识图谱构建结果

图 3 比较了不同模型的开销及时效，可以看出，本文提出的 U rbanKGent 在实现更低响应时效的同时大幅降低了费用开销，以低于 G PT-4 近 2 0 倍的成本获取了更高的性能。

图 3 不同模型的开销与推理时间

5. 总结

本文提出了 UrbanKGent ，一个基于大模型的城市知识图谱构建框架。广泛的实验结果表明了 UrbanKGent 在改进城市知识图谱构建任务方面的显著进展，获得的 UrbanKGent 智能体系列包括 7/8/13B 版本，与为城市知识图谱构建而衍生的 GPT-4 相比，具有更低的推理延迟和成本，基于开源技术的 UrbanKGent 还能促进未来的城市知识图研究和更广泛的智慧城市应用。

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击 阅读原文 ，进入 OpenKG 网站。