医疗卫生算法中的种族偏见

悦智网 · 公众号 · · 2020-03-10 15:30

正文

━━ ━━

大多数美国医疗中心都采用了一款算法来识别可能需要特殊护理的患者， 而事实显示，该算法存在种族偏见。

该算法可筛选并登记需要特别护理的患者，为患者提供护师专用电话、帮助配药或提供其他帮助。筛选的目的是为了确定哪些患者最需要特别护理，但被登记的白人患者存在的严重慢性健康问题要少于被登记的黑人患者。也就是说，黑人患者需要达到更高的疾病门槛，才能被登记加入特别护理。护理实际上并没有给到最需要的人。

让人担忧的是，该算法正在顺利地执行任务。问题在于任务是怎样定义的。

美国《科学》杂志在2019年10月发表的一篇论文指出了这一发现，并认为这是一个系统问题，论文的共同作者、加州大学伯克利分校公共卫生学院的医师兼研究人员齐亚德•欧博梅尔（Ziad Obermeyer）这样说。整个美国都在使用类似的筛选工具；据行业估计，这种算法每年会为2亿人做出健康决策。

欧博梅尔和他的共同作者选择了不公开他们所研究的医疗中心的名称，也不披露开发有缺陷软件的公司名称。“这是一个全行业的问题，影响到了非常多的生产商和用户，我们认为单指出他们可能会事与愿违。”他说。

这是一个说明偏见是怎样“融入”系统的很好的案例。造成问题的原因是算法的设计，特别是设计用来预测的内容。在尝试确定哪些人最需要特别护理时，它预测了未来一年里每个患者的医疗费用。预测的基础是根据历史数据。

欧博梅尔解释说，该算法在预测费用方面很准确。“该算法确实在做应该做的事。”他说，“无论对白人还是黑人，它做得都很好。”

不过，医疗卫生费用高的人并不一定就是病情严重的患者。社会经济因素对黑人患者有着不成比例的影响，欧博梅尔说，贫困会使人更难获得医疗护理。此外，多项研究表明，医疗卫生专业人员潜意识中的偏见会影响诊断和治疗决策。

欧博梅尔指出，即便机构的意图是很好的，算法偏见也会悄然发生。在预测时，该算法有意没有将种族作为一种变量。“但是，如果结果中有结构性的不平等，那么算法还是会产生偏见。”他说。

欧博梅尔说，有问题的医疗中心已经在几年前因为其他原因停止使用该算法了，不过在其他地方，这种算法还在使用。因此，他的团队与开发相关软件工具的公司联系，告知了对方自己的研究结果。他说，未来的软件升级会包括对算法的更改。

马歇尔•金（Marshall Chin）是芝加哥大学的医师和研究人员，曾经写过有关机器学习中的公平问题的文章。金说，这一研究成果很重要。“它表明，影响数百万人的系统中很容易悄悄出现偏见。”金并未参与该研究。

金讲述了一个来自芝加哥大学医院的警世故事。那里的数据科学家想要加快患者出院的流程，于是他们开发了一种算法，用来预测哪些患者可能会在48小时内符合出院条件，并为这些患者安排病历管理和社会服务人员，但是，这种算法在变量中包括了邮政编码数据，该数据经常会代表某种社会经济学状态。

芝加哥大学负责相关项目的数据科学家约翰•费伦巴赫（John Fahrenbach）解释了邮政编码数据带来的偏见。该算法发现，来自不富裕社区的人通常在医院停留的时间更长，因为医生会尝试为他们安排额外的资源。“所以，如果有两个在医学上来看情况相同的患者，他们唯一的区别是其财力大小，那么算法就会说：有钱的那个患者先出院。”费伦巴赫说，“因为根据历史来从推测，这是准确的。”

费伦巴赫在部署算法之前就发现了这个问题。这使他很震惊，他联系了大学的多元化、公平性和包容性小组，探讨研发审计系统。学校正在组建“分析干预部门”，仔细检查其医疗体系中使用的所有预测模型。

算法审计公司ORCAA的创立者凯西•奥尼尔（Cathy O'Neil）说，欧博梅尔的团队所研究的有种族偏见的算法将在审计中被标记出来。“通常我问的第一个问题是：这让谁失望了？”她说。

奥尼尔主张在部署算法之前建立测试算法的标准程序。她还希望监管部门能够考虑现有的反歧视法律和法规，并确定如何将法律法规应用到算法系统之中。“不能因为你不了解相关技术，就放弃执行反歧视法律和法规。”她说。

作者：Eliza Strickland

IEEE Spectrum

《科技纵览》

官方微信公众平台

医疗卫生算法中的种族偏见

正文

请到「今天看啥」查看全文