得益于人工智能 (AI) 和机器学习的进步，计算机系统现在可以像皮肤科医生一样诊断皮肤癌，像放射科医生一样在 CT 扫描中挑出中风，甚至像肠胃病学家一样在结肠镜检查中检测出潜在的癌症。这些新的专家数字诊断学家有望让我们的护理人员走上更大、更好、更快、更便宜的技术发展曲线。但是，如果它们也使医学更具偏见怎么办？
在这个国家正在努力解决核心社会机构中系统性偏见问题的时刻，我们需要技术来减少而不是加剧健康差距。我们早就知道，用不能代表整个人口的数据训练的人工智能算法，对于代表性不足的群体来说，通常表现更差。例如，用性别失衡的数据训练的算法在读取代表性不足性别的胸部 X 光片时表现更差，研究人员已经担心，许多主要在浅肤色个体上训练的皮肤癌检测算法，在检测影响深色皮肤的皮肤癌时表现更差。
考虑到不正确决定的后果，高风险的医疗人工智能算法需要用来自不同人群的数据集进行训练。然而，这种多样化的训练并没有发生。在最近的一项研究发表在JAMA (美国医学会杂志) 上，我们回顾了 70 多篇出版物，这些出版物比较了医生与数字替身在临床医学多个领域的诊断能力。用于训练这些人工智能算法的大部分数据仅来自三个州：加利福尼亚州、纽约州和马萨诸塞州。
关于支持科学新闻
如果您喜欢这篇文章，请考虑支持我们屡获殊荣的新闻报道，方式是 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
无论是种族、性别还是地域，医疗人工智能都存在数据多样性问题：研究人员无法轻易获得大型、多样化的医疗数据集——这可能导致算法出现偏差。
为什么没有更好的数据可用？我们的一位病人，一位退伍军人，在试图获取他之前的医疗记录后，沮丧地说道：“医生，为什么我们可以在世界的另一端看到移动车队中的特定汽车，却看不到我在街对面医院的 CT 扫描？”在医学领域共享数据对于单个患者来说已经够难了，更不用说可靠地训练机器学习算法所需的成百上千个病例了。无论是在治疗患者还是构建人工智能工具方面，医学数据都锁定在各处的小型信息孤岛中。
医疗数据共享应该更加普遍。但是，医疗数据的神圣性和相关隐私法的力度为保护数据提供了强大的激励，并且对数据共享中的任何错误都有严重的后果。数据有时会因经济原因而被隔离；一项研究发现，共享数据的医院更有可能失去患者给当地竞争对手。即使存在共享数据的意愿，医疗记录系统之间的缺乏互操作性仍然是一个巨大的技术障碍。过去二十年来，大型科技公司对个人数据的使用引起的强烈反对也给医疗数据共享蒙上了一层阴影。公众已经对任何聚合个人数据的尝试深感怀疑，即使是为了崇高的目的。
这并非医疗数据首次缺乏多样性。自临床试验的早期以来，妇女和少数族裔群体在研究参与者中的代表性一直不足；越来越多的证据表明，这些群体从已批准的药物中获得的益处较少，副作用更多。解决这种失衡最终需要美国国立卫生研究院 (NIH)、食品药品监督管理局 (FDA)、研究人员和行业的共同努力，以及 1993 年国会的一项法案；直到今天，这仍然是一项正在进行的工作。一家竞相开发新冠疫苗的公司最近宣布推迟招募更多样化的参与者；这非常重要。
不仅仅是医学；人工智能已经开始在其他高风险领域扮演训练有素的专家的角色。人工智能工具帮助法官做出量刑决定，重新定向执法重点，并向银行职员建议是否批准贷款申请。在算法成为可能提升或破坏普通公民生活的高风险决策不可或缺的一部分之前，我们必须理解和减轻嵌入的偏见。
人工智能中的偏见是一个复杂的问题；仅仅提供多样化的训练数据并不能保证消除偏见。人们还提出了其他一些担忧——例如，人工智能工具的开发人员和资助者缺乏多样性；从多数群体的角度构建问题；关于数据的隐含偏见假设；以及使用人工智能工具的输出来延续偏见，无论是无意还是有意的。由于获得高质量数据具有挑战性，研究人员正在构建试图以更少数据做更多事情的算法。从这些创新中可能会出现减少人工智能对庞大数据集需求的新方法。但就目前而言，确保用于训练算法的数据的多样性对于我们理解和减轻人工智能的偏见至关重要。
为了确保未来的算法不仅强大而且公平，我们必须构建技术、监管、经济和隐私基础设施，以提供训练这些算法所需的大型且多样化的数据。我们不能再盲目地前进，用任何碰巧可用的数据构建和部署工具，被数字光泽和进步的承诺所迷惑，然后感叹“无法预见的后果”。后果是可以预见的。但它们并非不可避免。