随着组织越来越多地用算法取代人类决策，他们可能会认为这些计算机程序缺乏我们的偏见。但算法仍然反映了现实世界，这意味着它们可能会无意中延续现有的不平等。一项周四发表在《科学》杂志上的研究发现，一个医疗保健风险预测算法（美国超过 2 亿人使用的工具的一个主要例子）显示出种族偏见——因为它依赖于一个有缺陷的衡量需求的指标。
这个特殊的算法帮助医院和保险公司识别哪些患者将受益于“高风险护理管理”计划，这些计划为慢性病患者提供受过专门培训的护理人员，并分配额外的初级保健就诊次数以进行更密切的监测。通过挑选出病情较重的患者以进行更有组织和更有针对性的关注，这些计划旨在先发制人地避免严重的并发症，从而降低成本并提高患者满意度。
为了计算谁应该符合这种额外护理的资格，该算法的设计者使用了以往患者的医疗保健支出作为医疗需求的替代指标——这是一个常见的基准。“成本是概括某人有多少医疗保健需求的一种非常有效的方式。它在许多数据集中都可用，而且您不需要对数据进行任何清理，”加州大学伯克利分校卫生政策与管理助理教授Ziad Obermeyer 说，他是这项新研究的主要作者。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
然而，在这种情况下，研究人员发现这种替代安排效果不佳，因为即使黑人和白人患者花费相同的金额，他们的需求水平也不同：黑人患者往往为更积极的干预措施付费，例如糖尿病或高血压并发症的急诊就诊。该论文检查了近 50,000 名患者的医疗记录——其中 6,079 名自我认定为黑人，43,539 名自我认定为白人——并将他们的算法风险评分与他们的实际健康史进行了比较。研究人员发现，黑人患者的风险评分往往较低。例如，在所有被归类为极高风险的患者中，黑人个体的慢性病比白人多 26.3%（尽管风险评分相似）。由于他们的记录在案的医疗保健成本与更健康的白人相当，因此该计划不太可能将符合条件的高风险护理管理黑人患者标记出来。当联系到这些结果时，美国排名前八位的健康保险公司，以及两家主要医院和精算师协会的专业团体，均拒绝置评。已发表的研究结果没有提及该算法或确定其开发者。
研究人员提出了一些造成这种问题的成本差异的原因。首先，种族和收入是相关的：有色人种更有可能收入较低。即使有保险，较贫困的患者也往往较少使用医疗服务，或者由于时间和地点的限制而减少了获得医疗服务的机会。内隐种族偏见（非意识或自动行为，对有偏见的人来说并不明显）也导致了医疗保健差距。由于黑人患者经常经历这种偏见，他们接受的护理质量较低，并且对他们认为表现出偏见的医生缺乏信任：非营利性国家经济研究局的2018 年工作论文显示，黑人患者在拥有黑人医生时健康结果更好，因为医生和患者之间有更高的信任度。如果没有信任的医患关系，黑人个体不太可能要求额外的护理并最终为此付费。
新论文本身依赖于记录数量不均，白人患者的文件数量大约是黑人患者的七倍。但这种差异“不是问题，因为它反映了现有数据的现实，”多伦多大学计算机科学和医学系加拿大研究主席 Marzyeh Ghassemi 说。Ghassemi 没有参与科学研究，她说使用了额外的计算模型来验证研究结果的准确性。尽管如此，她指出，“数据多样性不足是一个长期存在的有害问题。”
意识到可能存在的偏见——无论是上传到算法以供学习的数据中的偏见，还是（如本例中）历史上使用的有偏差的代理来理解数据——对于人工智能开发人员和用户来说都很重要。“我希望本文的成果之一是人工智能制造商和研究人员在他们的产品接触到真实患者之前，会进行一组基本的审计，即预测的均等性，”Obermeyer 说。如果数据是问题所在，收集更多数据可以纠正偏见。如果问题出在算法的编程假设中，则需要对程序进行审计。
Obermeyer 的团队目前正在与评估的算法的开发人员合作以解决这种情况。毕竟，他说，这项研究的重点不是阻止人工智能在医疗保健中的应用。“我们无法仅靠人类来管理数百万个医疗保健变量——我们确实需要人工智能来帮助我们管理这些问题，”他补充道。“这就是本文背后的重点：指出问题所在以及如何解决它。”
“我钦佩研究人员联系了 [算法] 公司，”Ghassemi 说，“他们与他们进行了接触，这可以在已部署的系统中创造系统的、积极的改变。”算法在医疗保健环境中的广泛使用仍然非常新，该行业仍在学习如何应用它们。“这不是一个关于善与恶的故事，而是关于改进我们做事方式的故事。我们可以考虑到社会和文化偏见，并制作可以绕过这些偏见的算法，以便我们可以获得人工智能的好处，”Obermeyer 说。“值得记住的是，人类也存在偏见。”