算法与忧郁:即将到来的智能科技乌托邦的暴政

为什么为了效率、生产力和幸福感而优化世界对人类有害

加入我们的科学爱好者社区!

本文发表于《大众科学》的前博客网络,反映了作者的观点,不一定反映《大众科学》的观点


想象一下这样一个世界,它由智能技术管理,旨在实现三个既不同又相互关联的规范性目标:优化的交易效率、资源生产力和人类幸福感。我们可以拥有畅通无阻的道路——没有拥堵,没有路怒!即时、个性化的娱乐——无需搜索或浏览!成功的社交互动——没有误解或错失暗示!没有意外的疾病,没有失败,没有错失的机会!甚至没有任何形式的意外!我们的世界存在如此多的缺陷,智能技术可以修复。

我们并未生活在这样的世界中,但实现这一世界所需的技术已经在快速开发和部署中。 以物联网 (IoT) 为例——大数据、传感器、算法、人工智能和各种其他相关技术。 他们的推广者做出了诱人的承诺。 据说,智能手机、电网、汽车、住宅、服装等等将使我们的生活更轻松、更好、更幸福。

这些主张深深植根于智能科技的乌托邦愿景,该愿景建立在先前的技术乌托邦愿景(如网络乌托邦主义)以及经济乌托邦愿景(如科斯定理中关于无摩擦、完美高效市场的思想和泰勒制中关于科学管理、完美高效工人的愿景)之上。 在我们现代的数字网络世界中,这些愿景远远超出了其最初的理想化互联网、市场和工作场所的背景。 智能科技可以管理我们生活中的更多方面。


关于支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道: 订阅。 通过购买订阅,您将有助于确保有关塑造我们当今世界的发现和思想的具有影响力的故事的未来。


重塑人类一书中,埃文·塞林格和我解释了嵌入在这些愿景中的逻辑适用于更广泛的依赖于人类劳动(时间、注意力、努力等等)的行为,无论是驾驶汽车、照顾孩子、锻炼身心,还是任何其他人类活动。 在不远的将来,据称智能技术系统可能会被部署,以最大限度地提高我们一生中的人类生产力。 智能科技乌托邦主义正在推动 21 世纪的社会和技术进步,但它似乎注定要以暴政告终。

原因如下

在智能科技世界中,许多关于人性的重要方面将会丧失。 智能科技乌托邦主义意味着最大限度地减少与人类作为人相关的各种成本。 虽然对于受过效率思维训练的经济学家和工程师来说,这似乎有悖常理,但人类需要摩擦。 道路上的拥堵可能是纯粹的浪费,但我们生活中的拥堵可能并非如此。 通常,它以难以衡量的方式产生价值,至少在金钱或快乐方面是如此。 拥堵有时是社交或停下来思考你正在等待什么的机会。

例如,考虑一下在杂货店结账队伍中等待的时间。 有时这很麻烦,但有时这是与朋友甚至陌生人交谈的好时机。 有时它也是一个缓冲,让您有时间重新考虑购买、预料后悔、锻炼意志力并做出更好的决定。 效率至上论者太容易忽视搜索、浏览、感到无聊、迷路、失败、错过、做白日梦、感到惊喜、即兴发挥的价值。

武装了海量行为数据的社会工程师将可预测的非理性人类视为引导其走向理性的对象,并将智能技术视为引导的有效工具。 然而,他们未能认识到,一个完美理性的智能科技世界是一个反乌托邦式的噩梦,其中人类被简化为机器人——也许是“快乐的”机器人,但这几乎不是安慰。

关于人性,除了幸福之外,还有更多重要的东西(当然幸福也很重要)。 有时,非理性是我们个人价值观之间存在冲突的非常人性化的倾向的产物,有时是因为我们对问题进行情境化,并在效率至上论者和社会工程师只看到要消除的交易成本的地方看到意义。

大多数人并不完全或专门地认同嵌入在智能科技乌托邦愿景中的理想,但他们将别无选择,只能按照这些理想生活。 他们可能会优先考虑效率、生产力和幸福感以外的价值观。 如果有选择,他们不会选择“接入”智能科技世界。 然而,这种选择永远不会被给予。 不会有“插头”或投票。 大多数人在智能技术的开发和部署中几乎没有发言权,更不用说在世界建设的复杂政治经济学中; 这几乎不是民主的——尽管有些人会争辩说人们在市场上作为消费者拥有发言权。

但这似乎很可笑。 如果我们过去十年的经验具有启发意义,那么对据称智能技术的偏好很可能会受到夸大的说法和明显的遗漏的影响。 所有据称“免费”的在线服务和内容实际上都是有代价的。

得出结论认为消费者选择了无处不在的监控,这是否合理? 不,并非如此。 只有在事后诸葛亮地看待问题,并对政治经济学、技术社会工程学和人类心理学方面的不便事实视而不见时,这种论点才说得通。 人们是否接受了据称免费的东西,通过在高度工程化的数字网络环境中的体验逐渐培养了期望、偏好和习惯,并变得依赖于监控资本主义?

是的,这似乎是对过去二十年更合理的描述。 无论如何,在许多情况下,人们现在和将来都根本没有发言权。 强大的投资者已经追求并将继续追求他们关于由智能科技系统管理的世界的乌托邦愿景。 由于无缝互连和无处不在的部署是关键特征,我们应该预见、评估并(我认为)抵制每个人默认情况下始终处于开启状态的未来——简而言之,智能科技的暴政。

正如 20 世纪 90 年代需要技术现实主义来对抗网络自由主义乌托邦主义一样,我们需要认清所谓的智能技术及其乌托邦主义掩盖的许多有争议的权衡。 事关人类的命运。

Brett Frischmann is the Charles Widger Endowed University Professor in Law, Business and Economics, Villanova University. His latest book is Re-Engineering Humanity (Cambridge University Press 2018). His novel, Shephard's Drone, will be out on February 3, 2019.

More by Brett Frischmann
© . All rights reserved.