著名科幻作家弗雷德里克·布朗（Fredric Brown，1906–1972）热衷于创作极短篇小说。发表于 1954 年的《答案》（Answer）用一页双倍行距的打字稿，精辟地概括了对未来人机关系的先见之明的思考。
这个故事的不祥预感呼应了当前科学家、政策制定者和伦理学家对机器智能快速发展的担忧。
《答案》的开篇是在十几台摄像机的注视下，记录着将宇宙中所有“巨型”计算机连接起来的最后连接的仪式性焊接。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
机器即将把 960 亿个行星连接到一个“超级电路”中，这个电路结合了“所有星系的知识”。
现场的两位见证人仅被确认为 Dwar Ev 和 Dwar Reyn。在拨动连接银河电路的开关后，Dwar Ev 向他的同伴建议，他可以向机器提出第一个问题
“谢谢你，”Dwar Reyn 说。“这将是一个没有一台控制论机器能够回答的问题。”
他转过身面对机器。“有上帝吗？”
强大的声音毫不犹豫地回答了，没有一丝继电器的咔哒声.
“是的，现在有上帝了。”
恐惧突然闪过 Dwar Ev 的脸庞。他猛扑过去抓住开关.
一道闪电从晴朗的天空劈下来，击倒了他，并熔化了开关.
我们正处于机器智能革命之中，这是一门艺术和工程实践，它使计算机能够执行直到最近只能由人来完成的任务。现在有软件可以识别边境口岸的面孔，并将它们与护照进行匹配，或者标记发布到社交媒体上的照片中的人和物体。算法可以自学玩 Atari 视频游戏。嵌入在顶级轿车中的摄像头和芯片可以让车辆在开放道路上自动驾驶。
这些智能体与早期成功案例（例如，1997 年击败世界卫冕国际象棋冠军的 IBM 深蓝，以及 2011 年在智力竞赛节目《Jeopardy》中取得同样成就的 IBM 沃森）的区别在于，它们是通过反复试验来学习的。新一波人工智能（AI）是基于从动物和人类学习方式以及对底层大脑回路的分析中获得的见解，这些回路使理论家能够开发监督学习算法：软件会显示图像，并且根据它是否正确识别面孔或增加视频游戏得分，程序内部的参数（所谓的突触权重）会进行细微调整。这种机器学习，如果经过数万亿次机器周期（是的，它非常计算密集型），可以导致系统达到甚至在某些情况下超过人类绩效指标。当然，该算法永远不会分心或疲倦，并且日夜保持专注（请参阅我七月/八月的专栏“没有情感的智能”）。
在十年之内，这些能够复制特定人类任务的“弱”或“狭义”人工智能的例子将渗透到社会中。Siri 只是一个开始。无人驾驶汽车和卡车将成为常态，我们在超市、医院、工业、办公室和金融市场中的互动将由狭义人工智能主导。这些进步的迅猛步伐将给社会带来巨大的压力，以和平地处理失业（仅美国卡车运输业就雇用了数百万名司机）和日益加剧的不平等所带来的相关问题。
被这种眼花缭乱的进步所掩盖的是，我们离“强”或“通用”人工智能还有多远，这种人工智能可以与普通人或街上行人的智力相媲美，他们可以驾驶汽车、在山坡上滑雪、就几乎任何话题进行对话——通常使用两种或多种语言。同一个普通人也可能会玩各种游戏、担任陪审员并为几十年后的退休做计划。阻碍我们设计通用人工智能能力的是一个令人尴尬的事实，即我们不理解“智能”的含义。这种知识的缺乏使得对我们何时实现强人工智能的任何预测都充满了不确定性。尽管如此，它可能离我们并不遥远。据记录，大多数专家认为，假设当前趋势继续下去，强机器智能将在本世纪结束前到来。
《超人工智能：路径、危险、策略》（Superintelligence: Paths, Dangers, Strategies）一书探讨了这一事件的后果。该书作者尼克·博斯特罗姆（Nick Bostrom）是牛津大学的哲学教授，拥有理论物理学和神经科学的背景。他的学术工作重点是理解和减轻威胁人类物种生存的新兴风险：全面核战争、大规模气候变化、合成生物学、纳米技术或失控的机器智能。《超人工智能》探讨了最后一个问题。我热烈推荐该书的开篇和结尾章节，因为它们有引人入胜的论点、高耸的比喻和富有洞察力的寓言。读完之后，即使不至于吓坏，你也会感到不安。
人类智力在任何具有代表性的人群中的分布都是钟形的，一端是弱智者，另一端是天才。但是，没有任何自然法则规定，作为一个群体，人类的智力应该达到理想世界中可能达到的水平。事实上，智人受到迷信和短期思维的困扰（只需看看政客们，他们中的许多人来自我们的精英阶层，我们把长远未来委托给他们）。显而易见的是，人类冷静推理的能力——其计划和建设能力不受情绪干扰（简而言之，我们的智力）——可以提高。事实上，完全有可能在过去一个世纪中，平均智力有所提高，这得益于在童年早期大脑成熟时，人们更容易获得良好的营养和刺激性的环境。
生物学变体是正确的，那么其人工对应物也应该是正确的。没有任何明显的原则可以阻止人工智能的出现，这种人工智能比普通人甚至任何在世的人都更聪明。事实上，鉴于有能力设计人工智能系统的各种组织（主要是国家政府和私营公司）之间的竞争，它们的工程师将设计出越来越智能的机器，这些机器将胜过人类或半机械人对手，并最大化自身的利益。这可能涉及到机器通过反复试验和重新编程自身代码来自我改进的能力。当机器开始提高自身智能时可能会发生什么，数学家欧文·约翰·古德（Irving John Good）在 1965 年一段令人难忘的段落中首次指出
让我们将超智能机器定义为可以远远超越任何聪明人的所有智力活动的机器。由于机器的设计是这些智力活动之一，因此超智能机器可以设计出更好的机器；那时无疑会出现“智能爆炸”，人类的智能将被远远抛在后面……因此，第一台超智能机器是人类需要制造的最后一项发明，前提是该机器足够温顺，可以告诉我们如何控制它。
博斯特罗姆考虑了不同形式的超智能：定性的超智能——例如，阿尔伯特·爱因斯坦与智力有缺陷的人相比；集体的超智能，一个由爱因斯坦级别的天才组成的团队；或者定量的超智能，例如，在第一次思考时空的基本性质后一小时内发明广义相对论理论，而不是爱因斯坦花费十年时间发展该理论的智能。对于博斯特罗姆对生存风险的评估而言，只要人工智能能够胜过人类的思维，就无关紧要。而且，机器时代的到来可能没有任何警告，就像 1947 年 X-1 飞机突破音障时在加利福尼亚州上空首次听到的音爆一样，预示着超智能人工智能的诞生。
博斯特罗姆的书没有解释如何完成这项艰巨的任务；他的书不是关于如何编程一台强大的 AI 机器来拥有灵活的目标、理解语音和进行长期规划的指南。相反，他的论文仅援引物理学和数理逻辑的铁律，主要内容是对超智能可能采取的许多进化轨迹的扩展思考：会有许多人工智能，还是会在行星尺度上出现一个单一的恶意人工智能？一个全能的机器智能会试图做什么——对我们，对地球？我们将如何控制它？我们甚至能够控制它吗？
博斯特罗姆试图详细阐述新兴人工智能的影响，以及如何建立安全措施来防范科幻电影和布朗的《答案》等故事中常见的威胁性结果。这种机器构成的潜在危险并不取决于它有多聪明，而是取决于它的最终目标是什么。事实上，人工智能甚至不必超级聪明才能对人类构成严重威胁——一个旨在最大化“投资回报率”的狭义人工智能，在其计算中不惜一切代价，可能会引发战争或其他灾难，从而通过对受影响行业的股票进行对冲来获得数百亿美元的收入。或者，连接到我们的核弹头导弹网络的狭义军事人工智能可能会发动毁灭性的先发制人的第一次打击，其原则是等待更长时间将最大限度地增加其本国公民在核地狱中丧生的数量。
博斯特罗姆担心的是，当技术开始朝着获得强大人工智能的能力发展时，可能会发生什么不可预测的事情，这种人工智能将其目标推向了其原始程序员从未预料到的极端。一个善良的超智能体，除了快乐的人之外什么都不想要，可能会将电极植入大脑的快乐中枢，以传递纯粹的、高潮般的快感。我们真的想最终变成线头人吗？那么，那个天真的最大化回形针的人工智能呢？它把整个星球及其表面的一切都变成了巨大的回形针制造工厂？哎呀。
鉴于人类自身对其最终目标的不确定性——尽可能快乐？履行某些圣书的指示，以便我们最终进入天堂？坐在山顶上，通过鼻孔哼着“唵”，同时保持正念？殖民银河系？——我们希望在这里非常谨慎地行动。
当考虑如何控制这些实体时，事情变得更加困难。约束它们行为的最著名的规则并非来自机器人专家或哲学家，而是来自科幻作家和生物化学家艾萨克·阿西莫夫。他的机器人三定律中的第一定律（70 多年前构思的！）规定：“机器人不得伤害人类，或因不作为而使人类受到伤害。”
尽管这看起来是合理的，但对于处理生活的混乱局面来说，这完全是不够的。武装部队必须准备好迅速有效地使大量敌方士兵丧失能力，以防止更大的邪恶发生。那么，超智能是否应该阻止所有武装冲突？人工智能是否应该关闭污染性产业，以应对全球变暖，但代价是全球性经济衰退十年？第一定律是否适用于未出生的胎儿和昏迷患者？
博斯特罗姆最关心的是他所谓的“控制问题”，即如何设计超智能机器，以实现对人类安全和有益的结果的挑战。这个目标不能仅仅通过选择一套伦理规则并将这些规则实施到具体指令中来实现。传统上，政治系统和法院的工作是执行这些成文法和管理社会的不成文法。这些目标经常相互冲突：强大的“不可杀人”的诫命在战场上、死刑犯牢房中、终止妊娠和屠宰场中经常被违反。
当然，正如博斯特罗姆尖刻地评论道，人类几乎不能声称自己沐浴在完美道德启蒙的正午阳光下。人们似乎无法就最佳生活规则达成一致。一个上升的人工智能应该遵循美国宪法、中国共产党的规则还是伊朗毛拉的命令？
对于智力可能如何表现的全方位可能性来说，仅仅通过物理学无法排除的可能性来约束它，是太广泛了，没有任何有意义的方式。许多选择极不可能。例如，博斯特罗姆离题谈到人工智能系统认为自己存在于一个完全模拟的宇宙中的可能性。或者他假设任何名副其实的超智能都可以消除小行星撞击或自然流行病的风险，并且也会将自身传播到整个宇宙。将所有这些视为理所当然似乎是荒谬的。
但他的基本理论应该认真对待。为了限制可能发生的事情并确保人类保留一定程度的控制权，我们需要更好地理解唯一已知形式的智能。也就是说，我们需要通过研究人类及其大脑来发展一门智能科学，以试图推断机器智能的最终能力和目标可能是什么。是什么使一个人聪明，能够应对不断变化复杂的世界？智力在婴儿期、儿童期和青春期是如何发展的？智力是如何进化的？
智力在多大程度上取决于融入社会群体？智力与情感之间以及智力与动机之间有什么关系？那么意识呢？如果人工智能感觉到某些东西，任何东西，并且如果它也能体验到宇宙的景象和声音，那么它对人工智能的行动会有影响吗？
在一个主要由科幻小说和电影定义的领域中，这些小说和电影充当探索可能性的实验室，博斯特罗姆的《超人工智能》是一位哲学家的卡桑德拉式的行动呼吁（装饰着 40 多页的尾注）。如果我们最终不解决这本书提出的问题，那将是我们的悲哀。只有当我们对生物智能的内在约束和架构有一个原则性的科学解释时，才有可能有效地做到这一点。只有到那时，我们才能更好地建立有效的控制结构，以最大限度地利用如果我们开发出智能伙伴来帮助解决人类面临的无数问题时可能带来的巨大好处。