利用大型语言模型增强知识图谱查询-意大利帕维亚大学

知识图谱科技 · 公众号 · · 2025-02-22 20:42

正文

摘要

采用知识图谱（KGs）作为结构化、面向语义的、数据表示模型，显著提高了跨不同领域的数据集成、推理和查询能力。这在现代场景中尤为真实，例如工业5.0，其中人类、智能设备和生产过程产生的数据的整合起着至关重要的作用。然而，由于技术复杂性，非专家用户使用形式查询语言管理、检索和可视化知识图谱中的数据可能很困难，从而限制了它们在工业环境内的应用。因此，我们引入了SparqLLM框架，该框架利用检索增强生成（RAG）解决方案来提升对知识图谱（KGs）的查询。SparqLLM执行提取、转换和加载（ETL）流程，从原始数据构建知识图谱。它还包含一个由大型语言模型（LLMs）驱动的自然语言界面，以实现自动生成SPARQL查询。通过将基于模板的方法作为大型语言模型（LLM）的检索上下文，SparqLLM提高了查询的可靠性并减少了语义错误，确保与知识图谱（KG）的互动更准确、高效。此外，为了提升可用性，系统集成了一个动态可视化仪表板，该仪表板能够适应检索数据的结构，并以直观格式呈现查询结果。严格的实验评估显示，SparqLLM实现了高查询准确性、改进的鲁棒性以及与知识图谱的用户友好互动，确立了其作为访问语义数据的一个可扩展解决方案。

核心速览

研究背景

研究问题：这篇文章要解决的问题是如何利用大型语言模型（LLMs）增强知识图谱（KGs）的查询能力，使得非专家用户能够更容易地管理和检索KG数据。
研究难点：该问题的研究难点包括：处理大规模、非结构化、多源数据集的复杂性；传统数据存储和处理技术在处理这些数据时的局限性；以及现有的查询生成系统在精度和效率上的不足。
相关工作：该问题的研究相关工作包括自然语言接口（NLIs）在KG访问中的应用，LLMs在自然语言到SPARQL查询翻译中的潜力，以及模板基方法在查询生成中的应用。

研究方法

这篇论文提出了SparqLLM框架，用于解决知识图谱查询中的挑战。具体来说，

知识图谱构建：首先，使用Extract, Transform, Load（ETL）管道从原始数据构建KG。该过程包括数据清洗、标准化、与本体对齐，并使用RML映射规则将数据转换为RDF格式。数据被上传到GraphDB数据库中进行存储和推理。
模板检索：SparqLLM通过模板检索功能，从预定义的模板集合中选择与用户问题语义相似的模板。模板集合包括15种查询类型和实体的模板，总共360个模板。使用IVF_FLAT索引方法和多种句子嵌入模型（如NV-Embed-v2、bge-en-icl等）来提高检索准确性。
查询生成：在检索到的模板基础上，结合用户查询和KG本体，使用LLMs生成结构化的SPARQL查询。选择Open-source的LLAMA和QWEN系列模型，通过定制提示引导模型生成简洁有效的查询。查询生成过程包括多个迭代步骤，直到生成有效的SPARQL查询。
数据可视化：将查询结果转换为直观的可视化表示。使用Plotly库创建动态、可定制的可视化，包括柱状图、折线图、散点图、小提琴图和表格等。LLM协助选择适当的可视化类型并生成相应的Python代码。

实验设计

模板检索组件评估：使用手动策划的数据集，评估模板检索组件在不同配置下的性能，包括嵌入模型、相似度度量、嵌入类型和检索的模板数量。评估指标包括准确率、马修斯相关系数（MCC）等。
查询生成组件评估：设计了一个包含24个样本的数据集，每个样本包括自然语言问题和对应的SPARQL查询。根据查询的复杂度分为简单、中等和复杂三类。评估指标包括执行成功率（ESR）、结果数量准确率（RCA）、结果匹配率（RMR）和调和结果准确率（HRA）。
数据可视化组件评估：使用查询评估数据集，评估系统在选择适当可视化类型和生成准确可视化表示方面的能力。评估指标为准确率。

结果与分析

模板检索组件评估结果：NV-Embed-v2模型在准确率和MCC方面表现最佳，分别为0.81和0.8。直接嵌入方法在所有嵌入类型中效果最好，使用两个模板时系统性能最佳，准确率和MCC均为0.8。
查询生成组件评估结果：Qwen 2 72B模型在执行成功率（ESR）方面达到100%，但在结果数量准确率（RCA）和结果匹配率（RMR）方面表现不佳。使用模板显著提高了所有指标的性能。LLAMA 3.1 70B模型在所有实体和查询类型上表现出色，特别是在平台和传感器实体上。
数据可视化组件评估结果：系统在70%的样本中正确选择了可视化类型，生成可视化表示的成功率为100%。

总体结论

这篇论文提出了一个名为SparqLLM的综合系统，用于解决知识图谱查询中的挑战。通过构建KG、使用RAG框架进行查询生成、以及实现动态可视化仪表板，SparqLLM提高了查询的准确性、可用性和可靠性。实验结果表明，SparqLLM在模板检索、查询生成和数据可视化方面表现出色，为复杂语义数据的交互提供了一个可扩展、用户友好的框架。未来的工作可以进一步改进可视化选择决策过程，支持更多的可视化类型和交互功能，以及实现实时查询执行和可视化。

论文评价

优点与创新

知识图谱构建：论文详细介绍了知识图谱的构建过程，包括其基本构建模块和本体结构，并展示了从原始数据到结构化的语义丰富的知识图谱的ETL管道实现。
模板检索：引入了基于语义相似度的模板检索机制，减少了查询生成的复杂性，提高了查询的准确性和可靠性。
查询生成：结合预定义模板和大语言模型（LLMs），提出了一种混合的SPARQL查询生成方法，利用LLMs的可适应性来提高查询的准确性。
数据可视化：实现了动态的可视化仪表板，能够根据查询结果的结构和内容自动选择合适的可视化类型，提供直观且交互性强的数据展示。
综合评估：引入了特定于解决方案的评估指标，全面验证了系统在模板检索、查询生成和数据可视化方面的性能，展示了系统的鲁棒性。

不足与反思

可视化选择的决策过程：仪表板在选择可视化类型时的决策过程可以受益于集成先进技术，支持更广泛的可视化类型，如热力图、地理空间地图或网络图。
交互功能：引入用户定义的偏好设置，如图表类型、颜色方案或数据分组，可以进一步定制可视化，提供更个性化的用户体验。
实时查询执行和可视化：未来发展方向包括实时查询执行和可视化能力，以应对物联网监控和金融分析等时间敏感的应用。