本文发表于《大众科学》的前博客网络，反映作者的观点，不一定代表《大众科学》的观点。
本月早些时候，亚历山大·奥卡西奥-科尔特斯提出，算法由于是由人类设计的，可能会使人类的偏见永久化。虽然有些人仍然抵制这种观点，但该领域的专家早已广泛接受。ProPublica 上有一个专门的机器偏见报道系列，正如科学记者玛吉·科尔斯-贝克指出的那样。我为 2017 年 11 月/12 月的《缪斯杂志》撰写了以下关于算法偏见以及计算机科学家正在努力解决的一些方法的文章，该杂志的读者是 9-14 岁左右的孩子。我在此版本中添加了一些进一步信息的链接。
假设你想要申请一份新工作。你可能会先写一份简历。这是一份列出你的姓名、教育背景和资格的文件。
但研究表明，如果顶部的姓名是 Jennifer 而不是 John，或者 Lakisha 而不是 Laurie，人们对同一份简历的评估结果会有所不同。无论我们是否有意，人类都存在偏见。这些好恶使得我们很难准确和公正地看待我们的世界。人们更倾向于雇用 John 而不是 Jennifer 或 Laurie 而不是 Lakisha 来从事许多工作。这些人不会认为自己是性别歧视或种族主义者，但他们会无意识地偏袒某些群体的人，而不是其他人。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。购买订阅有助于确保关于当今世界塑造我们的发现和想法的有影响力的故事的未来。
偏见对所有人都不利。如果做出招聘决定的人允许他们的偏见影响他们，他们显然会伤害他们歧视的人。但他们也会伤害自己。他们的公司会因为人的偏见而错过优秀的员工。而且，拥有更多样化员工的公司通常比员工彼此非常相似的公司表现更好。
那么，为什么不让计算机来雇用员工呢？一堆金属，或者构成其程序的 0 和 1，不可能有种族主义或性别歧视，对吧？问题解决了！
编写配方
别着急。计算机没有自由意志或感情，但越来越多的计算机科学家、数据科学家和其他研究人员正在关注一个事实，即算法即使在没有程序员插入任何明显的种族主义或性别歧视规则的情况下，也可以加强社会中的偏见。“很多人认为算法是数学的，所以它们会自动是公平的，”数据科学家凯茜·奥尼尔说。“事实并非如此。”
算法有点像配方。它是一组指令，告诉计算机如何回答问题或做出决定。（遗憾的是，结果不会像配方的最终结果那么美味。）人工智能是一种特定类型的计算机算法。“任何试图让计算机像人类一样行动的东西”都是人工智能，苏雷什·文卡塔苏布拉马尼安说。他是犹他大学的计算机科学家。计算机科学家、软件工程师和程序员从事计算机的不同方面的工作。这些方面包括人工智能、机器学习和算法。计算机科学家通常专注于该领域更理论的方面，而软件工程师则设计供计算机运行的程序。程序员则负责编写算法的实际工作。如果算法是配方，那么程序员就是编写它们的食谱作者。
一种流行的人工智能技术被称为机器学习。“它是制作算法的算法，”文卡塔苏布拉马尼安说。机器学习算法会查看有关过去如何做出决策的数据，并使用它来做出未来的决策。
例如，当您访问亚马逊或 YouTube 并浏览您想阅读的下一本书或想观看的视频时，您会看到一个推荐列表。这些推荐是机器学习算法的结果，该算法已经查看了数百万甚至数十亿次的点击，并计算出具有您的偏好的人倾向于选择哪些书籍或视频。
这为潜在的问题奠定了基础。“它会模仿过去发生的事情，”数据科学家凯茜·奥尼尔说。“在我们拥有一个完美社会之前，我们可能要小心这一点。”对于亚马逊或 YouTube 的推荐，这些偏见似乎相当无害。您可能会收到不吸引您的图书推荐，或者错过您会喜欢的视频。但是，有偏见的算法也可能产生更明显的负面后果。
倾斜的输入
在 20 世纪 80 年代初，英格兰伦敦的一所医学院开始使用一种算法进行第一轮入学筛选。他们使用了前十年的数据来训练该算法。在那段时间里，做出录取决定的人歧视妇女和非欧洲人。该算法旨在模仿人类的选择，它更喜欢男性而不是女性，并且更喜欢名字听起来像欧洲人的人而不是名字听起来像非欧洲人的人。“现在发生的事情要微妙得多，但它们仍然在发生，”奥尼尔说。
作为一个更现代的例子，一些面部识别程序在识别深肤色的人的脸方面比识别浅肤色的人的脸更差。在这种情况下，问题出在最初使用的数据上。可能在不知不觉中，程序员使用的大多数是浅肤色的人的脸来训练算法。当面对肤色范围更广的人时，算法就会出现问题。在一种情况下，一个图像识别程序将两人的照片标记为“大猩猩”。这是一种冒犯性的种族歧视言论。但是，计算机程序并不知道这一点。感到尴尬的工程师很快修复了这个错误。即使程序员或算法本身没有任何恶意，人们也会并且正在受到有偏见的算法的伤害。
编写算法的程序员可以通过几种方式来尝试消除偏见。在面部识别算法的情况下，程序员可以使用范围更广的面孔来训练算法。算法设计者可以尝试确保他们的数据真正代表与之相关的人口。如果您要使用它来对人的照片进行分类，那么如果它仅对浅肤色的人有效，那就没用了。
医学院可能需要不同的解决方案。那里出现的问题不是算法的数据太少，而是它拥有的数据反映了历史偏见。一种选择是告诉算法忽略性别或姓氏，但即使这样也可能无法解决问题。该算法可能会注意到与性别或民族出身相关的因素。例如，它可能会开始歧视那些就读于女性多于男性的学校或居住在移民比例较高的社区的人。
走向公平
文卡塔苏布拉马尼安也有一个略微令人惊讶的建议：告诉算法更加随机。“如果你一直都是随机的，你可能会做出错误的决定，”他说。“但偶尔你应该做一些非常随机的事情。”他和他的同事最近进行了研究，表明包含少量随机性的机器学习算法可能比试图严格模仿其训练数据的算法更公平。从某种意义上说，他说，“你希望算法认识到它不能确定。”[要阅读 文卡塔苏布拉马尼安及其合著者关于可以消除算法偏见的技术的论文，请点击此处。]
文卡塔苏布拉马尼安说，我们需要认识到，我们不应该对算法过于自信。我们需要对潜在的偏见保持警惕，并对我们使用的算法的公平性持怀疑态度。“算法并非一无是处。我们可以超越人类主观性的想法是一件好事，”他说。但是，他补充说，“把我们所有的信任都放在机器上是行不通的。有了适当的怀疑，我们也许可以做得更好。”与加强社会现有的偏见相反，包含他和他人建议的算法实际上可以帮助我们更公平地做出决定。就像我们一开始认为它们会做的那样。