摘要

电子病历（EMR）在现代医疗中虽然不可或缺，但由于其复杂性和信息冗余性，给临床推理和诊断带来了挑战。为解决这一问题，我们提出了medIKAL（整合知识图谱作为大型语言模型的辅助工具）框架，该框架结合了大型语言模型（LLMs）与知识图谱（KGs），以提升诊断能力。medIKAL根据医疗记录中实体的类型赋予其加权重要性，使得能够在知识图谱中精确定位候选疾病。它创新性地采用类似残差网络的方法，允许大型语言模型的初步诊断结果融入知识图谱搜索结果中。通过基于路径的重排序算法和填空式提示模板，进一步精炼了诊断过程。我们通过对新引入的开源中文电子病历数据集进行广泛实验，验证了medIKAL的有效性，展示了其在真实世界环境中改善临床诊断的潜力。

https://arxiv.org/abs/2406.14326

核心速览

研究背景

1. 研究问题 ：这篇文章要解决的问题是如何利用知识图谱（Knowledge Graphs, KGs）来增强大型语言模型（Large Language Models, LLMs）在电子病历（Electronic Medical Records, EMRs）中的临床诊断能力。

2. 研究难点 ：该问题的研究难点包括：EMRs的复杂性和信息冗余性导致的临床推理和诊断困难；LLMs缺乏特定医学知识，容易生成错误知识；现有的“LLM + KG”方法在应用于EMR诊断任务时存在局限性。

3. 相关工作 ：该问题的研究相关工作有：利用LLMs进行疾病诊断和预测的研究；将知识图谱与LLMs结合的研究，包括嵌入表示、提示模板和迭代策略等方法。

研究方法

这篇论文提出了medIKAL（Integrating Knowledge Graphs as Assistants of LLMs）框架，用于解决EMR诊断中的问题。具体来说，

1. EMR摘要和直接诊断 ：首先，设计了一系列问题提示LLMs对EMR进行关键信息摘要，包括患者症状、病史、用药情况、就诊记录等。

2. 基于LLM的初步诊断 ： 基于分解和摘要后的EMR，允许LLM依赖其内部知识进行初步诊断，得到一组可能的疾病

3. 候选疾病定位和重排 ：

• 实体识别和匹配 ：使用预训练的NER模型对摘要后的EMR进行实体识别，然后将每个实体链接到知识图谱中对应的节点。

• 基于实体类型的候选疾病定位 ：根据实体的类型分配不同的贡献权重，搜索知识图谱中1跳邻居的疾病节点，并根据权重调整疾病节点的得分。

• 基于路径的候选疾病重排 ：定义表示疾病 i 与实体 j 在知识图谱上的最短路径距离，距离越短的疾病被认为与患者信息的相关性越强。

  
  

4. LLM和KG知识的协同推理 ：重建知识图谱信息，将其转化为半结构化表示，提供给LLM进行协同推理。设计了基于填空模板的提示，使LLM能够定量评估特定疾病与各个方面的相关性，并计算总分。
   

   

实验设计

1. 数据集构建 ：构建了CMEMR（Chinese Multi-department Electronic Medical Records）数据集，包含来自中文医疗网站的10450条EMR记录。为了验证方法的有效性，还选择了CMB-Clin、GMD和CMD三个数据集作为补充。

2. 基线方法 ：比较了medIKAL与三类基线方法：仅使用LLM的方法、LLM+KG的方法和LLMNG的方法。

3. 评估指标 ：采用国际疾病分类（ICD-10）作为权威源，通过模糊匹配过程将诊断结果与ICD-10术语关联，计算精确率（Precision）、召回率（Recall）和F1值（F1-score）。

4. 实现细节 ：选择Qwen模型作为骨干模型，使用CPubMed-KG作为知识图谱，RaNER模型进行实体识别，CoROM模型进行实体节点匹配。

结果与分析

1. 整体性能 ：在CMEMR数据集上的主要实验结果显示，medIKAL方法在使用LLM+KG范式时显著优于其他基线方法，证明了其在EMR诊断任务中的有效性。
   

   

   
   

2. 深入分析 ：不同知识图谱增强提示对medIKAL性能的影响显示，使用相关实体效果不佳，而medIKAL能够最小化模型对知识图谱知识的过度依赖，保留大部分有用预测。

3. 消融研究 ：通过消融实验展示了不同模块的重要性，去除摘要模块和实体类型权重模块会严重影响性能，而去除重排模块会导致结果完全依赖于知识图谱搜索过程。

总体结论

本文提出了medIKAL框架，通过加权实体类型和类似残差的集成方法，显著提高了LLMs在EMR中的临床诊断能力。实验结果表明，medIKAL在真实世界临床设置中有潜力提高诊断准确性和效率。medIKAL为AI辅助临床诊断提供了一个有前景的方向，为更先进的医疗保健应用铺平了道路。

论文评价

优点与创新

1. 提出了一个新的框架 ：medIKAL（Integrating Knowledge Graphs as Assistants of LLMs），将大型语言模型（LLMs）与知识图谱（KGs）结合，以提高电子病历（EMR）诊断的准确性。

2. 加权实体识别 ：根据实体的类型对医疗记录中的实体进行加权，使得在知识图谱中准确定位候选疾病成为可能。

3. 残差网络集成方法 ：创新性地采用类似残差网络的方法，允许大型语言模型在没有外部知识的情况下进行初步诊断，然后将诊断结果与知识图谱的搜索结果合并。

4. 基于路径的重排序算法 ：通过基于路径的重排序算法进一步细化诊断过程。

5. 特殊提示模板设计 ：设计了特殊的填空式提示模板，帮助大型语言模型更好地推理和纠错。

6. 开源数据集引入 ：引入了一个开源的中国电子病历数据集CMEMR，解决了高质量开源中文电子病历数据缺乏的问题。

7. 实验验证 ：在收集的电子病历数据集上进行了广泛的实验，证明了medIKAL的有效性。

不足与反思

1. 数据集局限性 ：尽管仔细检查、去敏感化和验证了CMEMR数据集，但偶尔医疗记录的质量在实际实验中可能仍不足。此外，由于数据来源有限，医疗记录数据集在不同科室之间的分布不均匀。

2. 框架局限性 ：尽管medIKAL在医疗领域展示了其有效性和巨大潜力，但它仍然存在一些局限性。首先，虽然它不限于EMR格式输入，但它需要输入数据样本中的大量信息。当输入数据信息稀疏时，medIKAL提高模型推理性能的效果会降低，并且增加了产生幻觉的风险。此外，medIKAL无法完全利用医疗测试结果的数值类型进行计算。解决此问题是未来工作的关键。

关键问题及回答

问题1：medIKAL框架在处理EMR数据时，如何利用知识图谱（KGs）来增强大型语言模型（LLMs）的诊断能力？

medIKAL框架通过以下几个步骤利用知识图谱来增强LLMs的诊断能力：

1. 实体识别和匹配 ：首先，使用预训练的NER模型对摘要后的EMR进行实体识别，然后将每个实体链接到知识图谱中对应的节点。

2. 基于实体类型的候选疾病定位 ：根据实体的类型分配不同的贡献权重，并在知识图谱中搜索相关疾病节点，更新每个疾病的得分。例如，症状实体可能比药物实体对诊断的影响更大，因此分配更高的权重。

3. 基于路径的候选疾病重排