本来，笔者只想琢磨下JACC新出的月度综述：“当代欧美心衰指南的比较”。但先是看到了EuroIntervention上新出的一篇，主动脉瓣狭窄决策的心脏团队 vs ChatGPT，转头又看到了NEJM上GPT单挑住院医师的报道，算了算了，这个坎是绕不过去了，还是先写吧。
图1 还是附一下吧，欧美心衰指南比较综述的中心图
瑞士Lausanne University Hospital的Adil Salihu教授在EuroIntervention上发表了人工智能AI，特别是大型语言模型（Large language models，LLM）促进多学科心脏团队（HTs）对严重主动脉瓣狭窄AS患者做出医疗决策的研究。其结果也很明了，如下图2。作为一个包含150名患者的回顾性研究，ChatGPT-4主要处理一份包含14个关键变量的标准化多选择文本，用于生成决策，研究者们随后将其与HT所做出的决策进行比较。
图2 主动脉瓣狭窄患者，AI LLM与HT的决策比较。
有位老师和笔者讨论，这个77%临床能不能接受，笔者倒觉得，这会儿其实还不是个学术问题
那么，大家肯定很好奇这个包含14个变量的文本是什么，笔者一并附在下面：
（瞬间是不是有种实习同学一人即可代替多学科心脏团队的错觉～）（国内做这个的同行们好像也不少，大家发文章加油啊～～）
图3 本篇中所用到的，给予ChatGPT的每位患者标准化文本
还是这位Salihu教授，去年和MicroBioRobotics System Laboratory的同道们还发表了另一篇文章：“走向人工智能辅助心脏病学：对在临床决策中使用大语言模型的性能和局限性的反思”。文中指出，人工智能语言模型根据给定训练数据的提示，可预测最可能的答案，但并未定义真实性和确定性，而这在精确性和谨慎性无比重要的医学领域中又尤为重要，这就显示了在医学领域中运用ChatGPT的微妙之处。如下图4的文中案例，ChatGPT基于Transformer模型（GPT里面那个“T”），是一种神经网络架构，特别强调问题提示单词之间的交互（注意力机制），因此改变任一条件即可导致不同的结果。
图4 一名与严重多支冠脉疾病相关的症状性严重主动脉瓣狭窄，且风险评分较低的患者文本，注意左侧ChatGPT-4提出了瓣膜和冠脉联合手术治疗的方案，而ChatGPT-3.5只提出了孤立的外科瓣膜置换术建议。右边，当用户自定义为心脏病专家或患者时，CharGPT的回答也不一致
研究者们认为，此类大语言模型带来了挑战，特别是在信任方面，它们可生成类似于人类对话的流畅文本，但因缺乏基础的医学理解，也可能产生误解和错误信息，尽管它们的输出通常看起来都很自信
（所谓一本正经的胡说八道）
。文中亦提到，在不久的将来，护理标准将纳入人工智能。但是，由于人工智能不断变化的错误率，以及量化医师错误率中存在的困难，定义人工智能和医师错误率的关键阈值仍具有挑战性。
免费与付费版本间的差异，也提出了需要考虑的另一个潜在道德问题。
另一篇发表在NEJM AI上的文章中，Tel Aviv University的Uriel Katz教授团队针对2022年以色列的执业医师考试，涵盖了包括内科、普外科、儿科、精神病学及妇产科在内的主要核心学科，将GPT-3.5和GPT-4在执业医师考试中的结果与849名住院医师进行了比较。结果显示，GPT-4的排名高于大多数精神病学医师，中位百分位数为74.7%（95%CI：66.2-81.0%）；其得分也与普外科、内科医师相似。GPT-4在儿科和妇产科中的得分较低，但仍高于一部分执业医师，中位数分别为17.4%（95%CI：9.55-30.9%）和23.44%
（95%CI：14.84-44.5%）。相对的，GPT-3.5没有通过任一学科的考试，逊色于大多数医师。写到这，笔者不由得发出了灵魂的拷问：
免费的就这么不靠谱啊，OpenAI你对得起我们吗？
这里有一个大前提，聪明的筒子可能已经想到了，GPT模型暂时无法理解图像，因此本研究排除了包括成像分析在内的所有执业考试问题，例如超声、心电图、射线、CT和MRI相关的问题。
图5 显示了在每个医学专业的120次考试尝试中的，生成式预训练Transformer模型的百分位数，红色虚线标记了与及格分数相对应的百分位数
图6 GPT和医师考试分数的比较。虚线代表的通过阈值，点代表异常值
那么，今天就写到这。重新认识了一个朴素的真理，付费才有好东西，问题倒也不出在付费，在于要付的这个费从哪里来，与大家共勉。
引用文献：
