本文发表于《大众科学》的前博客网络，反映了作者的观点，不一定反映《大众科学》的观点
今天，人类面临着难以置信的威胁和机遇：气候变化、核武器、生物技术、纳米技术以及更多。但有些人认为，这些都被一件事超越了：人工智能（AI）。迄今为止，这种论点主要局限于科幻小说以及一小部分学者和爱好者。纪录片制作人詹姆斯·巴拉特来了，他的新书《我们的最终发明》用清晰明了的语言阐述了支持（和反对）人工智能的理由。
披露：我个人认识巴拉特。他寄给我一本免费的预先出版的副本，希望我能写一篇评论。这本书也引用了我的研究。我是机器智能研究所的无偿研究顾问，这本书对此进行了大量讨论。虽然我有一些说好话的动机，但我不会吝啬我的（适度的）批评。
中心思想非常简单。智力可能是将人类与其他物种区分开来的关键特征。我们当然不是丛林中最强大的野兽，但由于我们的智慧（和我们灵巧的双手），我们最终胜出。现在，我们的统治地位正受到我们自己创造的生物的威胁。计算机科学家可能正在构建超越人类智能的人工智能（“超级智能”）。这种人工智能可能会变得非常强大，以至于它要么解决我们所有的问题，要么杀死我们所有人，这取决于它的设计方式。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们今天世界的发现和想法的有影响力的故事的未来。
不幸的是，人类彻底灭绝或某种其他邪恶似乎是超级智能人工智能更可能的结果。这就像任何伟大的瓶中精灵故事：一个关于意想不到的后果的故事。让超级智能人工智能让我们快乐，它可能会将电极塞进我们大脑的快乐中枢。让它在国际象棋比赛中获胜，它会将星系转换为用于计算步法的超级计算机。这种荒谬的逻辑之所以成立，正是因为人工智能缺乏我们对荒谬的理解。相反，它完全按照我们编程的方式去做。小心你许的愿！
重要的是要理解研究人员所说的狭义人工智能（ANI）和通用人工智能（AGI）之间的区别。ANI 在像下国际象棋或搜索网络这样的狭窄任务中是智能的，并且在我们的世界中越来越普遍。但是 ANI 只能在它擅长的那件事上胜过人类，所以它不是重大的变革性问题。那将是 AGI，它在广泛的领域中都具有智能——可能包括设计更智能的 AGI。人类也具有通用智能，但 AGI 的思维方式可能与人类大不相同，就像国际象棋计算机处理国际象棋的方式与我们截然不同一样。目前，还没有人类水平的 AGI 存在，但 AGI 研究领域非常活跃，拥有自己的学会、期刊和系列会议。
《我们的最终发明》出色地解释了这些和其他人工智能技术细节，同时带领读者全面了解人工智能世界。这不是一本晦涩难懂的学术著作。巴拉特运用清晰的新闻报道散文和个人风格，这得益于他多年为国家地理、探索频道和 PBS 制作纪录片的经验。这本书记录了他采访众多顶尖人工智能研究人员和分析师的旅程，穿插着巴拉特自己的深思熟虑的评论。最终的结果是对人工智能概念和人物的丰富介绍。新手和专家都将从中受益匪浅。
这本书尤其受欢迎，因为它与雷·库兹韦尔的《奇点临近》和其他作品形成了对比。库兹韦尔是人工智能改变世界潜力的最杰出代言人。虽然库兹韦尔确实承认人工智能的风险，但他的总体基调是危险的乐观，给人一种一切安好，我们应该加快 AGI 和其他变革性技术的步伐的错误印象。《我们的最终发明》没有犯这个错误。相反，它明确表达了担忧的信息。
现在，谨慎的读者可能会抗议，AGI 真的是值得认真对待的事情吗？毕竟，它基本上从未出现在新闻中，而且大多数人工智能研究人员甚至都不担心。（AGI 今天只是更广泛的人工智能领域的一个小分支。）很容易想象这只是一个边缘问题，只有少数容易受骗的怪人会认真对待。
我真希望情况是这样。我们已经有足够多的其他事情要担心了。但有理由相信并非如此。首先，仅仅因为某件事现在不突出，并不意味着它永远不会突出。今天的人工智能本质上与 1970 年代和 1980 年代的气候变化处于相同的阶段。那时，只有少数研究人员研究它并表达担忧。但当时的趋势是显而易见的，而今天气候变化已成为国际头条新闻。
今天的人工智能有其自身的趋势。最明显的是摩尔定律，其中每美元的计算能力大约每两年翻一番。更强的计算能力意味着人工智能可以处理更多信息，从而（在某些方面）变得更智能。从软件到神经科学，都存在类似的趋势。与气候变化一样，我们无法准确预测何时会发生什么，但我们确实知道我们正在走向一个人工智能日益复杂的世界。
这就是人工智能确实可以超越气候变化等问题的地方。尽管气候变化带来了种种恐怖，但它的进展缓慢。最坏的影响将在几个世纪后才会显现。变革性的人工智能可能会在短短几十年内到来，甚至可能十年。它可能会使气候变化变得无关紧要。
但人工智能在一个关键方面与气候变化不同：至少就目前而言，它缺乏科学共识。事实上，大多数人工智能研究人员不认同人工智能接管的想法。即使是 AGI 研究人员对于将会发生什么以及何时发生也存在分歧。这是我在 2009 年对 AGI 研究人员进行的一项研究的核心结果。
鉴于这种分歧，我们应该相信谁？巴拉特确信我们正走向麻烦。我不太确定。人工智能将不可避免地进步，但它最终可能不会像巴拉特和其他人预期的那样具有根本性的变革性。然而，相反的情况也可能是真的。尽管我思考这个问题多年，但我无法排除发生重大人工智能事件的可能性。
仅仅是这种可能性就应该让我们停下来思考。毕竟，风险再高不过了。即使是发生重大人工智能事件的微小机会也足以引起 серьезное 的关注。对于人工智能而言，这种机会并不小。我认为这比例如说，重大小行星撞击的可能性要大得多。如果小行星撞击得到了 серьезное 的关注（由 NASA、B612 基金会等），那么人工智能风险应该得到更多关注。但事实并非如此。我希望《我们的最终发明》将有助于改变这种情况。
这就引出了《我们的最终发明》不幸地非常薄弱的一个领域：解决方案。这本书的大部分内容致力于解释人工智能概念并论证人工智能的重要性。我只计算了大约半章讨论任何人实际上可以为此做些什么。这是一个令人遗憾的遗漏。（《难以忽视的真相》也患有同样的毛病）。
有两种基本类型的选择可以用来防御人工智能。首先，我们可以设计安全的人工智能。这看起来是一个巨大的哲学和技术挑战，但如果成功，它可以解决世界上许多问题。不幸的是，正如本书指出的那样，危险的人工智能更容易实现，因此很可能先出现。尽管如此，人工智能安全仍然是一个重要的研究领域。
其次，我们可以不设计危险的人工智能。本书详细讨论了推动人工智能前进的经济和军事压力。需要利用这些压力来避免危险的人工智能。我相信这是可能的。毕竟，人类被毁灭不符合任何人的利益。应该采取措施防止人们制造危险的人工智能。禁止高频交易可能是一个不错的起点，原因有很多。
等待人工智能失控，然后试图发动一场针对超级智能 AGI 的“世界大战”运动不是一个可行的选择。这很适合拍电影，但完全不现实。人工智能会变得太聪明、太强大，以至于我们没有任何机会对抗它们。（外星人入侵也是如此，尽管人工智能的可能性要大得多。）相反，我们需要提前做好。这是我们紧迫的任务。
最终，人工智能的风险是由设计人工智能的人、资助他们的人以及其他有影响力的人驱动的。《我们的最终发明》最棒的地方在于，通过其丰富的采访，它使人工智能行业人性化。这种对人工智能问题背后人物的洞察力在其他任何地方都找不到。与此同时，这本书清晰而引人入胜地介绍了可能（或可能不会）成为人类决定性问题的事物。对于任何关心几乎任何事物的人，或者对于那些只是喜欢精彩科学故事的人来说，这本书都值得一读。