专栏名称: 知识图谱科技

务实的人工智能布道者。跟踪介绍国内外前沿的认知智能技术(知识图谱，大语言模型GenAI)以及医药大健康、工业等行业落地案例，产品市场进展，创业商业化等

医疗诊断的挑战：AI vs 医生

知识图谱科技 · 公众号 · · 2025-01-27 10:18

正文

介绍

为了评估大型语言模型（LLM）与医生相比诊断健康状况的能力，参考了最近的三篇论文：

使用“临床决策”框架的 Hager 论文，2024 年 1 月 26 日 [1]

使用 “诊断推理” 框架的 Goh 论文，2024 年。测试时间 2023 年 11 月 29 日至 12 月 29 日 [2]

3. 使用“准确鉴别诊断”框架的 McDuff 论文，2023 年 11 月 [3]

Hager 论文框架在代理方面最具挑战性，因为它要求 LLM 做出自由裁量决定，例如要求进行体检和实验室测试，并遵循医疗指南。它测试了 5 个开源 LLM（Llama Chat 2 及其几个变体）。

Goh 论文更侧重于单独诊断。它要求参与者对每个病例进行 3 次鉴别诊断。它还包括此类诊断评估的许多定性因素。它测试了一个强大的专有 LLM：Chat GPT-4。

McDuff 论文在诊断分析因素方面最具挑战性，因为它侧重于医生必须进行鉴别诊断的复杂情况（每个病例最少 5 次和最多 10 次）。后者需要生成一份清单，其中包含最多 10 种潜在诊断，从最有可能到最不可能排序。McDuff 论文还包括许多定性因素，类似于 Goh 的定性因素，以评估诊断的质量。它测试了一个强大的专有 LLM：一个在医疗数据上训练的 Gemini 衍生物。

这三篇论文在 2023 年底进行了各自的测试。因此，它反映了当时 LLM 的表现。

https://marinpost.org/blog/2024/12/26/the-diagnostic-challenge-ai-vs-doctors

总结结果

‍

‍ ‍ ‍‍‍‍ Hager 的论文表明，开源 LLM 在所有方面都几乎毫无价值。

Goh 论文测试了更强大的专有 LLM Chat GPT-4，发现它的性能远远超过了医生。而且，不知何故，医生并没有从使用 Chat GPT-4 中受益。

McDuff 论文还测试了一种非常强大的专有 LLM，它是 Gemini 的衍生物，在医疗数据上进行了训练。它的表现也比医生好得多。但是，与 Goh 论文相反，这篇论文表明，使用 LLM 的医生比其他方法表现得更好，但仍然不如单独的 LLM。

海格尔论文.临床决策 [1]

‍ ‍ Hager 论文实验 ‍ match ‍ 在几个方面与其他两个不同： ‍‍

‍ 他们测试了 5 种不同的 LLM，而不仅仅是 1 个 ‍
他们只测试了开源模型（出于数据隐私考虑），另外两个只测试了一个 LLM 专有模型。
他们测试了医生与 LLM 的表现。他们没有测试由 LLM 协助的医生的表现。其他两篇论文也这样做了（测试了 LLM 协助的医生的表现）。

Hager 团队使用了一个非常大的数据集，其中包含 2,400 例病例，这些病例发生在 2008 年至 2019 年之间，涉及四种常见的腹部疾病：

阑尾炎
胆囊炎
憩室炎
胰腺炎

他们测试了 5 种不同的开源模型，包括 3 个通用模型：

Llama 2 聊天
OASST
向导 LM

他们还测试了 2 个基于医疗数据训练的专用模型：

Clinical Camel
Medtron

Hager 团队刚刚使用 4 名医生从 2,400 个病例中随机选择 100 个诊断。每位医生必须为每种腹部疾病做出 20 次诊断，并为其他腹部疾病（胃炎、尿路感染、食管反流和疝气）做出 20 次诊断。

Hager 团队将他们的测试框架称为“临床决策”。因此，它涉及的不仅仅是诊断。作为其框架的一部分，他们在临床决策的 5 个不同维度上测试了他们的模型：

诊断准确性

临床指南

按照指示操作

实验室测试解释

稳健性

在医疗数据上训练的 2 个专业模型只能测试诊断准确性，而不能测试其他四个维度中的任何一个。

诊断准确性

‍ 简短的回答是，与医生相比，所有 LLM 的表现都很差。

从上述视觉数据中，我们可以提取直接比较 Llama 2 Chat（测试的通用开源 LLM 中最著名的）与医生的结果。而且，与医生相比，Llama 2 Chat 的诊断准确性看起来真的很差。

其他经过测试的 LLM 都没有比 Llama 2 Chat 做得更好。

临床指南

这是一项具有挑战性的测试，要求 LLM 通过要求身体检查来模仿人类的自由裁量代理，并订购必要的实验室测试以全面诊断病情。如下面的视觉数据所示，LLM 没有很好地做出这些自由裁量决定。

来源：Hager [1]

按照指示操作

这是另一个人类自由裁量决定或实施测试。同样，LLM 在这种情况下表现不佳，并犯了很多错误。

来源：Hager [1]

上述数据有点难以解释。因此，将指标转换为以 % 为单位的错误率每 2 名患者犯错相当于 50% 的错误率。

实验室测试解读

令人困惑的是，受过医学数据训练的专业 LLM 无法处理实验室测试解释。一般的 LLM 不能很好地处理这项任务。

在下图中，关键是 LLM 在识别超出范围的实验室测试结果（低或高）方面的表现有多糟糕。

来源：Hager [1]

接下来，我将上述数据转换为以 % 为单位的假阴性率。如下所示，Llama 2 Chat 和 Wizard LM 的假阴性率非常高。对于 OASST，它们要低得多。

即使是外行也很容易执行 0% 的完美假阴性率。你只需要阅读实验室结果，看看这些数字是否超出低端或高端的范围。

通过消除正常范围内的所有实验室测试值，模型能够改善很多。Llama 2 Chat 和 WizardLM 显示出更多的改进，只是因为它们的初始性能比 OASST 差得多。

来源：Hager [1]

鲁棒性

LLM 在这方面相当糟糕。更改传递给 LLM 的信息的顺序可能会对其整体诊断准确性产生巨大影响。但是，每个模型的顺序都不同。这是一个非常不可行的情况。

Hager 论文结论

Hager 的论文表明，他们测试的开源 LLM 在 “临床决策” 方面几乎毫无价值。他们甚至无法准确地阅读和解释实验室结果，即使是外行也能轻松完成这项任务。

Goh 诊断推理 [2]

Goh 团队根据整体诊断性能评估诊断推理。后者包括：

鉴别诊断准确性
支持和反对因素的适当性
下一步诊断评估步骤

他们通过生成一个捕获所有上述三个标准的单一分数来评估医生的诊断表现。

他们测试了 50 名医生

的表现。他们被分为两组

：

其中 25 人由干预组组成，他们使用 Chat GPT 4（一种通用的 LLM 模型）来帮助他们进行诊断。
对照组中有 25 人没有使用 LLM，而是使用他们的标准检索资源进行诊断。

医生在一小时内做出了 6 次诊断。

Goh 团队使用了以下诊断 — 结构化推理网格。

诊断性能评分

下表的要点是，干预组中使用 Chat GPT-4 的医生在统计上的表现并不优于使用传统搜索资源的医生对照组。

下面的箱形图最能说明问题。虽然它表明使用 Chat GPT-4（绿框）的医生并没有比没有使用（蓝框）的医生做得明显更好，但它确实表明单独使用 Chat GPT-4（红框）的效果要好得多！

下表揭示了在上面的箱形图中直观地捕获的基础数据。

Goh 论文结论

单独的 Chat GPT-4 比使用 Chat GPT-4 的医生表现要好得多。这意味着医生犯的错误比 Chat GPT-4 引起的幻觉多得多。

使用 Chat GPT-4 的医生的表现并不比仅使用标准搜索资源的医生好。

换句话说，医生并没有从使用 Chat GPT-4 而不是他们的标准搜索资源中受益。但是，这不是 Chat GPT-4 的错，而是医生的错。

麦克达夫论文-准确的鉴别诊断 [3]

McDuff 团队是一个 Google 团队。谷歌开发了一种名为 Med-Palm 2 的专业医学 LLM，它是他们的 Gemini LLM 的衍生产品。

McDuff Team 精确鉴别诊断框架类似于 Goh Team 诊断推理框架。然而，它侧重于医生必须生成“鉴别诊断（DDX）”的具有挑战性的病例。后者需要为每种情况生成一个潜在诊断的排名列表，其中最可能的诊断位于列表顶部（第 2 个最有可能的诊断位于第 2 位，依此类推）。医生需要生成包含至少 5 个和最多 10 个诊断的 DDX 列表。在 Goh 论文中，医生也做了 DDX。他们只需要提出 3 种可能性，而不是 McDuff 论文中的 5 到 10 种。