本文发表于《大众科学》的前博客网络，反映了作者的观点，不一定反映《大众科学》的观点
“技术已经存在。我们缺少的只是意愿。” 自从我读了 凯茜·奥尼尔 的新书 《数学杀器》 以来，这些句子一直萦绕在我的脑海中。它们来自本书的最后一章，在这一章中，她一次又一次地说明了，用她的副标题来说，“大数据如何加剧不平等并威胁民主”。 随着 Facebook 新的 热门话题算法 和新闻中的 数据驱动型警务，这本书无疑是及时的。
数学杀器，奥尼尔在整本书中将其称为 WMD，是声称可以量化重要特征（教师质量、累犯风险、信用度）的数学模型或算法，但会产生有害结果，并且常常会加剧不平等，使穷人更穷，富人更富。 它们有三个共同点：不透明性、规模和危害。 它们通常是专有的或以其他方式受到保护，免受窥探，因此它们具有黑匣子的效果。 它们影响大量人群，增加了它们对其中一些人出错的可能性。 它们对人们产生负面影响，可能是通过将种族主义或其他偏见编码到算法中，或者使掠夺性公司能够有选择地向弱势群体投放广告，甚至可能引发全球金融危机。
奥尼尔是撰写这本书的理想人选。 她是一位学术数学家，后来成为华尔街的量化分析师，再后来成为数据科学家，她曾参与占领华尔街运动，最近 创办了一家算法审计公司。 她是最强烈的发声者之一，呼吁限制我们允许算法影响我们生活的方式，并反对算法因为是由一台没有情感的机器执行而不会造成偏见或不公正的观点。
关于支持科学新闻业
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻业 订阅。 通过购买订阅，您正在帮助确保有关当今塑造我们世界的发现和想法的具有影响力的故事的未来。
许多人在想到大数据和算法做出决策时，会想到华尔街和对冲基金。 正如《大空头》和《群魔在此》等书令人沮丧地记录的那样，次级抵押贷款是 WMD 的完美例子。 大多数购买、出售甚至评估它们的人都不知道它们有多危险，而且经济仍在遭受它们的影响。
奥尼尔谈到了金融 WMD 和她的经历，但她书中的例子也来自生活的许多其他方面：大学排名、就业申请筛选器、警务和量刑算法、工作场所健康计划，以及信用评分奖励富人惩罚穷人的许多不当方式。 作为后者的一个例子，她分享了一个令人恼火的统计数据：“在佛罗里达州，拥有良好驾驶记录和不良信用评分的成年人平均比信用良好且有酒后驾车定罪的同类驾驶员多支付 1552 美元。” （重点是她加的。）
她分享了一些人的故事，这些人以某种方式被算法认为是不合格的。 有一位备受推崇的老师因教师评估工具评分低而被解雇，有一位大学生因在性格测试中的回答而无法在杂货店找到最低工资的工作，还有一些人的信用卡消费限额因在某些商店购物而被降低。 更糟糕的是，评判他们的算法是完全不透明且不可反驳的。 当算法出错时，人们通常无 recourse。
许多 WMD 创造了使不公正现象永久存在的反馈循环。 累犯模型和预测性警务算法——根据犯罪数据派遣警官在特定地点巡逻的程序——充满了有害反馈循环的可能性。 例如，累犯模型可能会询问该人与执法部门的第一次接触。 由于种族主义警务做法，例如拦路搜身，黑人比白人更有可能更早地进行第一次接触。 如果模型考虑了这一衡量标准，它可能会认为黑人更有可能 但它们造成的危害甚至超出了它们可能具有种族主义倾向的范围。 奥尼尔写道：
一个被评为“高风险”的人很可能失业，并且来自一个许多朋友和家人都曾与法律发生冲突的社区。 部分由于评估结果得分较高，他被判处更长的刑期，被关在监狱里多年，周围都是狱友——这增加了他重返监狱的可能性。 他最终被释放到同一个贫困社区，这次有了犯罪记录，这使得他更难找到工作。 如果他再次犯罪，累犯模型可以声称又一次成功。 但实际上，该模型本身助长了一个恶性循环，并有助于维持它。
奥尼尔的书之所以重要，部分原因在于，正如她指出的那样，WMD 的一个阴险之处在于，对于我们这些在这个社会中拥有更多权力和特权的人来说，它们是隐形的。 作为一个住在相对富裕社区的白人，我在浏览网页时不会被掠夺性发薪日贷款人的广告所针对，也不会受到警察的骚扰，因为算法将他们派到那里巡逻“简陋”的社区。 像我这样的人需要知道这些事情正在发生在其他人身上，并更多地了解如何与它们作斗争。
虽然《数学杀器》充满了残酷的真相和令人沮丧的统计数据，但它也通俗易懂，甚至引人入胜。 奥尼尔的写作风格直接且易于阅读——我一个下午就读完了。 而且这本书并非全是阴郁的。 在最后一章中，她分享了一些关于我们如何解除 WMD 武装并利用大数据造福于社会的想法。 她为数据科学家提出了希波克拉底誓言，并撰写了关于如何监管数学模型的文章。 让我们回到我开篇的句子：“技术已经存在。我们缺少的只是意愿。” 这是令人沮丧的——我们没有尽我们所能——但也应该给我们一些希望。 技术已经存在！ 如果我们培养意愿，我们就可以利用大数据来促进平等和正义。