摘要

大型语言模型（LLMs）与知识图谱（KGs）的统一已成为热门话题。在与中国广州VLDB 2024联合举办的LLM+KG'24研讨会上，探讨的一个关键主题是由于LLMs与KGs之间有效互动而产生的重要数据管理挑战和机遇。本报告概述了在LLM+KG'24研讨会期间各位演讲者提出的主要方向和做法。

[2410.01978] LLM+KG@VLDB'24 Workshop Summary

https://arxiv.org/abs/2410.01978

核心速览

研究背景

1. 研究问题 ：这篇文章探讨了如何将大型语言模型（LLMs）与知识图谱（KGs）进行有效结合，以解决数据管理中的重要挑战和机遇。LLMs在自然语言处理方面有广泛应用，但缺乏一致的知识表示，容易产生幻觉和不准确的输出。KGs可以提供外部、事实性、最新的知识，从而提高LLMs的准确性、一致性和透明度。

2. 研究难点 ：该问题的研究难点包括：数据一致性、可扩展性、知识编辑、隐私、公平性、可解释性、数据法规、人机协作、软硬件协同、基于云解决方案和AI原生数据库等。

3. 相关工作 ：相关工作包括LLMs用于KGs的研究，如实体和关系提取、三元组生成、本体匹配等；KGs用于LLMs的研究，如知识增强的预训练、微调、推理、提示、检索增强生成、知识编辑等；以及统一LLMs+KGs的研究，如数据和输入建模、数据清洗、集成和增强、多模态数据管理等。

研究方法

这篇论文提出了多种方法来解决LLMs与KGs结合中的数据管理问题。具体来说，

1. KGs用于LLMs ：

• 预训练/微调/推理增强 ：利用KGs中的结构化知识来增强LLMs的预训练、微调和推理过程。

• 验证和可解释性增强 ：通过KGs来验证LLMs的输出，并提供可解释性。

• 知识创建/补全/嵌入 ：利用LLMs进行知识的提取和嵌入，从而创建或补全KGs。

• 查询/分析/领域特定应用 ：利用LLMs进行KGs的查询和分析，以及在特定领域的应用。

• 数据和输入建模 ：建立适用于LLMs和KGs的数据和输入模型。

• 数据清洗、集成和增强 ：对LLMs和KGs进行数据清洗、集成和增强。

• 多模态数据管理 ：管理LLMs和KGs中的多模态数据。

• 向量数据管理 ：管理LLMs和KGs中的向量数据。

• 准确性和一致性 ：提高LLMs和KGs的准确性和一致性。

• 效率和可扩展性 ：提高LLMs和KGs的效率和可扩展性。

• 偏见和公平性 ：减少LLMs和KGs中的偏见和不公平性。

• 可解释性和溯源性 ：提高LLMs和KGs的可解释性和溯源性。

• 可用性 ：提高LLMs和KGs的可用性。

• 安全和隐私 ：保护LLMs和KGs的安全和隐私。

• 优化KG数据库和系统 ：利用LLMs优化KG数据库和系统。

结果与分析

1. LLMs用于KGs ：

• Jixuan Nie等人 ：利用本体和Chain-of-Thought（CoT）提示从非结构文本中提取高质量的三元组。

• Emily Groves等人 ：比较了上下文学习、微调和监督学习在生物医学本体自动知识整理中的表现。

• Yongli Mou等人 ：探索了GPT-4的上下文学习能力，并提出了一种自反机制，使LLMs能够批判性地评估其输出并从错误中学习。

• Daham M. Mustafa等人 ：使用W3C开放数字版权语言（ODRL）本体及其文档来制定LLMs的提示，并从自然语言指令中生成ODRL的使用策略。

• Xinfu Liu等人 ：提出了一种增强的协作LLMs方法，用于开放集对象识别，通过整合KGs来缓解LLMs的事实幻觉问题。

• Fali Wang等人 ：研究了一种新颖的Infuser引导的知识整合框架，以高效地将未知知识整合到LLMs中，而不会不必要地重叠已知知识。

• Ningyu Zhang等人 ：介绍了OneEdit，一个神经符号原型系统，用于使用自然语言和LLMs进行协作知识编辑。

• Hanieh Khorashadizadeh等人 ：综述了LLMs和KGs之间的协同关系。

• Emanuele Cavalleri等人 ：介绍了SPIREX系统，用于从涉及RNA分子的科学文献中提取三元组。他们利用模式约束来制定LLMs的提示，并使用图机器学习在基于RNA的知识图谱（RNA-KG）上评估提取三元组的合理性。

总体结论

这篇论文总结了LLMs+KGs领域的当前发展和开放问题。LLMs和KGs的结合在多个方面具有潜力，但仍需大量研究。LLMs+KGs的统一将带来数据管理的许多新兴问题和挑战，包括数据一致性、可扩展性、知识编辑、隐私、公平性、可解释性、数据法规、人机协作、软硬件协同、基于云解决方案和AI原生数据库等。希望这篇报告和LLMs+KG'24接受的论文能激发更多研究者在这个领域进行研究和创新。

论文评价

优点与创新

1. 多领域专家参与 ：论文评审团成员来自多个维度，如地理、性别、资历等，确保了评审的多样性和全面性。

2. 高质量审稿 ：每篇论文都经过了三位杰出程序委员会成员的严格评审，确保了论文的质量和创新性。

3. 广泛的研究主题 ：涵盖了LLMs与KGs结合的各种数据管理机会和挑战，包括一致性、可扩展性、知识编辑、隐私、公平性、可解释性、数据法规、人机协作、软硬件协同、基于云解决方案和AI原生数据库等。

4. 多样化的研究成果 ：包括9篇同行评审的研究论文，分为LLMs用于KGs、KGs用于LLMs和统一LLMs+KGs三大类，展示了该领域的广泛研究内容。

5. 工业界特邀报告 ：GraphRAG技术的介绍和应用展示，提供了实际应用的案例和解决方案。

6. 关键词云展示 ：通过关键词云展示了接受论文的标题和摘要，直观地反映了研究的主要焦点。

7. 高参与度 ：研讨会吸引了超过150人参加，显示了该领域的广泛关注度和活跃度。

不足与反思

1. 知识差距问题 ：通用LLMs通常缺乏准确的领域知识，导致输出不准确和不可靠，甚至在实际应用中遇到困难。

2. 语义相似性与上下文相关性的差异 ：高语义相似性并不总是确保查询的上下文相关性，可能会检索到与查询无关的内容。

3. 全局问题的挑战 ：传统的RAG在处理需要综合整个数据集而非孤立片段的广泛全局问题时表现不佳。

4. 复杂和动态KG的管理 ：管理复杂和动态的知识图谱存在挑战，特别是在扩展集成和降低成本方面。

5. 确保数据隐私和合规性 ：在部署LLMs系统时，确保数据隐私和合规性是关键的挑战。

6. 工程和实施挑战 ：包括神经符号推理、复杂和动态KG的管理、扩展集成和降低成本、保护LLMs、确保数据隐私和合规性等各种工程和实施挑战。

关键问题及回答

问题1：在LLMs与KGs结合的过程中，如何有效地进行知识编辑和知识融合？

1. 知识编辑 ：利用LLMs的自然语言处理能力，结合KGs的结构化知识，进行知识的编辑和修正。例如，Ningyu Zhang等人提出的OneEdit系统，通过神经符号方法实现协作知识编辑，使得用户可以通过自然语言指令和LLMs共同编辑KGs中的知识。

2. 知识融合 ：将不同来源的知识进行整合，避免知识重叠和不必要的冗余。Fali Wang等人提出的Infuser框架，通过引导知识注入的方式，将未知知识有效地整合到LLMs中，同时保持已知知识的完整性。

问题2：LLMs在KGs中的应用有哪些具体的场景和案例？

1. 实体和关系提取 ：利用LLMs的上下文学习能力和知识图谱的结构化知识，从非结构文本中提取高质量的实体和关系。例如，Jixuan Nie等人通过结合本体和Chain-of-Thought（CoT）提示，从非结构文本中提取高质量的三元组。

2. 知识图谱的补全和嵌入 ：利用LLMs进行知识的提取和嵌入，从而创建或补全知识图谱。例如，Yongli Mou等人探索了GPT-4的上下文学习能力，提出了一种自反机制，使LLMs能够批判性地评估其输出并从错误中学习，从而改进知识图谱的补全。

3. 领域特定的应用 ：在特定领域中，利用LLMs进行知识图谱的查询和分析。例如，Daham M. Mustafa等人使用W3C开放数字版权语言（ODRL）本体及其文档来制定LLMs的提示，并从自然语言指令中生成ODRL的使用策略，应用于版权管理和内容分发。

问题3：在LLMs与KGs结合的过程中，如何解决数据一致性和可扩展性问题？

1. 数据一致性 ：通过KGs提供的外部、事实性、最新的知识，增强LLMs的准确性、一致性和透明度。例如，Xinfu Liu等人提出的增强协作LLMs方法，通过整合KGs来缓解LLMs的事实幻觉问题，确保生成的信息更加准确和可靠。

2. 可扩展性 ：利用LLMs和KGs的结构化和半结构化数据，进行高效的数据管理和查询。例如，Emanuele Cavalleri等人介绍的SPIREX系统，利用图机器学习在基于RNA的知识图谱（RNA-KG）上评估提取三元组的合理性，支持大规模知识图谱的查询和分析。

此外，通过多模态数据管理和向量数据管理的方法，进一步提高LLMs和KGs的可扩展性和处理复杂查询的能力。例如，Z. Xu等人提出的检索增强生成（RAG）技术，通过结合知识图谱和LLMs，提供更全面和准确的查询结果。

参考文献

1. (88页)知识图谱增强大模型GraphRAG 2025年最新调研综述 - 密歇根大学、Adobe、Meta、亚马逊等
   

2. Stardog Voicebox智能体: 知识图谱&LLM双轮驱动、释放自动化的创造力

3. “大模型+知识图谱”双轮驱动的见解、技术和评估 - 英伟达的GraphRAG
   

4. 大模型能自动创建高质量知识图谱吗？可行性及人机协同机制 - WhyHow.AI
   

5. GraphRAG和轻量级LightRAG技术及应用案例深度解析
   

6. 微软GraphRAG框架演进之路及带来的一些思考

7. LazyGraphRAG:微软重磅推出高性价比下一代GraphRAG
   

8. 提升大型语言模型结果：何时使用GraphRAG