我们真的可以信任算法为我们做决定吗？先前的研究已经证明这些程序会强化社会有害的偏见，但问题不止于此。一项新的研究表明，旨在发现某人违反政策规则（例如着装规范）的机器学习系统，会根据人类注释用于训练系统的数据方式中看似微小的差异，而变得更加严厉或更加宽松。
尽管已知存在缺点，但算法已经推荐了公司的招聘对象、医疗护理的优先患者、保释金的设定方式、观看的电视节目或电影、获得贷款、租赁或大学录取的人员以及分配给零工工人的任务等重要决策。这种自动化系统因承诺加速决策、清理积压、做出更客观的评估和节省成本而得到迅速而广泛的应用。然而，在实践中，新闻报道和研究表明，这些算法容易出现一些令人震惊的错误。它们的决定可能会对人们的生活产生不利和长期的后果。
这项新研究强调了问题的一个方面，该研究于今年春天发表在《科学进展》杂志上。在研究中，研究人员训练了样本算法系统，以自动决定是否违反了给定的规则。例如，其中一个机器学习程序检查了人们的照片，以确定他们的服装是否违反了办公室着装规范，另一个程序则判断自助餐厅的膳食是否符合学校的标准。然而，每个样本程序都有两个版本，其中人类程序员以略微不同的方式标记每个版本的训练图像。在机器学习中，算法在训练期间使用这些标签来弄清楚应该如何对其他类似数据进行分类。
支持科学新闻报道
如果您喜欢这篇文章，请考虑支持我们屡获殊荣的新闻报道，方式是 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
对于着装规范模型，其中一个违反规则的条件是“短裤或短裙”。该模型的第一个版本是使用照片进行训练的，人类注释者被要求使用与给定规则相关的术语来描述这些照片。例如，他们只会注意到给定的图像包含“短裙”——基于该描述，研究人员随后会将该照片标记为描绘了违反规则的行为。
对于模型的另一个版本，研究人员告诉注释者着装规范政策——然后直接要求他们查看照片并判断哪些服装违反了规则。然后相应地标记图像以进行训练。
尽管这两个版本的自动化决策者都基于相同的规则，但他们得出了不同的判断：根据描述性数据训练的版本发出了更严厉的判决，并且比根据过去人类判断训练的版本更可能说给定的服装或膳食违反了规则。
“因此，如果您要重新利用描述性标签来构建违反规则的标签，您将获得更高的预测违规率——因此决策会更严厉，”该研究的合著者、麻省理工学院的博士生 Aparna Balagopalan 说。
差异可能归因于人类注释者，当他们被要求简单地描述图像与被告知判断该图像是否违反规则时，他们对训练数据的标记方式不同。例如，研究中的一个模型正在接受训练，以审核在线论坛中的评论。它的训练数据由注释者标记的文本组成，标记方式可以是描述性的（例如，说它是否包含“关于种族、性取向、性别、宗教或其他敏感个人特征的负面评论”），也可以是判断性的（例如，说它是否违反了论坛禁止此类负面评论的规则）。注释者更倾向于将文本描述为包含关于这些主题的负面评论，而不是说它违反了禁止此类评论的规则——可能是因为他们认为在不同条件下，他们的注释会产生不同的后果。研究人员解释说，弄错事实只是描述世界不正确的问题，但弄错决定可能会伤害另一个人。
研究的注释者在模棱两可的描述性事实上也存在分歧。例如，在根据短款服装做出着装规范判断时，“短”这个词显然是主观的——而这样的标签会影响机器学习系统做出决定的方式。当模型学会完全根据事实的存在与否来推断违反规则的行为时，它们就不会给歧义或审议留下空间。当他们直接向人类学习时，他们会将注释者的人类灵活性纳入其中。
“对于一个经常在没有仔细检查标记实践的情况下使用数据集的领域来说，这是一个重要的警告，并且[它]强调了在自动化决策系统中需要谨慎——尤其是在遵守社会规则至关重要的环境中，”合著者 Marzyeh Ghassemi 说，她是麻省理工学院的计算机科学家，也是 Balagopalan 的导师。
最近的研究强调了训练数据如何以意想不到的方式扭曲决策算法——除了已知的有偏见的训练数据问题之外。例如，在 2020 年的一次会议上展示的另一项研究中，研究人员发现，印度新德里的一个预测性警务系统使用的数据对移民定居点和少数族裔群体存在偏见，并可能导致对这些社区的监视不成比例地增加。“算法系统基本上是根据过去的数据推断下一个答案是什么。因此，从根本上来说，他们无法想象一个不同的未来，”人机交互研究员 Ali Alkhatib 说，他曾在旧金山大学应用数据伦理中心工作，但没有参与 2020 年的论文或这项新研究。过去的官方记录可能无法反映今天的价值观，这意味着将它们变成训练数据使得摆脱种族主义和其他历史不公正现象变得困难。
此外，当算法没有考虑到训练数据之外的新情况时，它们也可能做出错误的决定。这也可能伤害到在这些数据集中经常被低估的边缘化人群。例如，从 2017 年开始，一些 LGBTQ+ YouTube 用户表示，他们发现当他们的标题包含“变性人”等词语时，他们的视频被隐藏或取消盈利。YouTube 使用算法来决定哪些视频违反了其内容指南，该公司（归 Google 所有）表示，它改进了该系统，以更好地避免 2017 年的意外过滤，随后否认“变性”或“变性人”等词语触发其算法来限制视频。“我们的系统有时会在评估视频的盈利或受限模式状态时，在理解上下文和细微差别方面犯错。这就是为什么我们鼓励创作者在他们认为我们弄错某些事情时提出申诉，”一位 Google 发言人在给《大众科学》的电子邮件中写道。“当出现错误时，我们会进行补救，并经常进行根本原因分析，以确定需要进行哪些系统性更改以提高准确性。”
当算法依赖于代理而不是它们应该判断的实际信息时，也可能出错。2019 年的一项研究发现，美国广泛使用的一种用于医疗保健计划注册决策的算法给健康状况相同的白人患者的评分高于黑人患者——因此为白人患者提供了更多的关注和资源。该算法使用过去的医疗保健成本，而不是实际疾病，作为医疗保健需求的代理——平均而言，白人患者的医疗费用更高。“将代理与我们打算预测的内容相匹配……非常重要，”Balagopalan 说。
那些制作或使用自动决策器的人可能不得不在可预见的未来面对这些问题。“无论有多少数据，无论你对世界的控制有多强，世界的复杂性都太大了，”Alkhatib 说。人权观察组织最近的一份报告显示，约旦政府实施的一项世界银行资助的扶贫计划使用了一种有缺陷的自动分配算法来决定哪些家庭获得现金转移支付。该算法根据收入、家庭支出和就业历史等信息评估家庭的贫困程度。但存在的现实是混乱的，有困难的家庭如果他们不符合确切的标准就会被排除在外：例如，如果一个家庭拥有一辆汽车——这通常是上班或运输水和木柴所必需的——那么它获得援助的可能性将低于一个没有汽车的相同家庭，并且如果车辆使用年限少于五年，则会被拒绝，报告称。决策算法难以应对这种现实世界的细微差别，这可能会导致它们在不经意间造成伤害。实施 Takaful 计划的约旦国家援助基金没有在截稿时间前回复置评请求。
研究人员正在研究各种方法来预防这些问题。“为什么自动化决策系统无害的证据负担应该转移到开发者而不是用户身上，”普林斯顿大学研究算法偏见的博士生 Angelina Wang 说。研究人员和从业人员要求提高这些算法的透明度，例如它们使用的数据、这些数据的收集方式、模型预期用途的背景以及应如何评估算法的性能。
一些研究人员认为，与其在算法的决策影响到个人生活后才纠正算法，不如给予人们对算法决策提出申诉的途径。“如果我知道自己正在接受机器学习算法的评判，我可能想知道该模型是根据与我在特定方面相似的人的判断进行训练的，”Balagopalan 说。
其他人则呼吁加强监管，以追究算法制定者对其系统输出的责任。“但只有当某人有能力实际审查事物并有权抵制算法时，问责制才有意义，”Alkhatib 说。“真正重要的是不要相信这些系统比你更了解你自己。”