很难摆脱一种挥之不去的疑虑，那就是创造比我们自己更聪明的机器可能会是一个问题。毕竟，如果大猩猩很久以前不小心创造了人类，那么现在濒临灭绝的灵长类动物可能会希望他们没有这样做。但是，具体来说，先进的人工智能为什么会成为一个问题呢？
好莱坞关于自发邪恶的机器意识将驱动杀手机器人军队的理论简直是愚蠢的。真正的问题在于人工智能可能非常擅长实现一些与我们真正想要的不同的目标。1960年，控制论领域的创始人、传奇数学家诺伯特·维纳这样说：“如果我们使用一种我们无法有效干预其运作的机械机构来实现我们的目的……，我们最好非常确定输入机器的目的正是我们真正渴望的目的。”
具有特定目的的机器具有另一个特性，一个我们通常与生物联系起来的特性：希望保持自身的存在。对于机器而言，这种特性不是天生的，也不是人类引入的；这是一个简单的逻辑结果，即如果机器死了，它就无法实现其最初的目的。因此，如果我们派出机器人，唯一的指令是取咖啡，它将有强烈的动机通过禁用自己的关闭开关，甚至消灭任何可能干扰其任务的人来确保成功。因此，如果我们不小心，我们可能会面临一场全球性的国际象棋比赛，对手是非常坚决、超智能的机器，它们的目标与我们自己的目标相冲突，而真实世界就是棋盘。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您将有助于确保有关塑造我们当今世界的发现和思想的有影响力的故事的未来。
进入并输掉这样一场比赛的前景应该让计算机科学家们集中精力。一些研究人员认为，我们可以将机器密封在一种防火墙内，利用它们来回答难题，但绝不允许它们影响现实世界。（当然，这意味着放弃超智能机器人！）不幸的是，这个计划似乎不太可能奏效：我们尚未发明出能够抵御普通人，更不用说超智能机器的防火墙。
我们能否正面解决维纳的警告？我们能否设计出目标与我们的目标不冲突的人工智能系统，以便我们确信对它们的行为方式感到满意？这绝非易事——毕竟，关于精灵和三个愿望的故事通常以第三个愿望来撤销前两个愿望而告终——但我相信，如果我们遵循智能系统设计的三个核心原则，这是可能的
机器的目的必须是最大限度地实现人类价值观。特别是，机器没有自己的目的，也没有保护自身的内在愿望。
机器最初必须不确定这些人类价值观是什么。事实证明，这至关重要，并且在某种程度上规避了维纳的问题。机器可能会随着时间的推移更多地了解人类价值观，当然，但它可能永远无法完全确定。
机器必须能够通过观察我们人类所做的选择来了解人类价值观.
前两个原则似乎违反直觉，但它们共同避免了机器人有强烈动机禁用自己的关闭开关的问题。机器人确信它想要最大限度地实现人类价值观，但它也不知道这些价值观到底是什么。现在，机器人实际上受益于被关闭，因为它理解人类会按下关闭开关以防止机器人做出违反人类价值观的事情。因此，机器人有积极的动机来保持关闭开关完好无损——而这种动机直接源于它对人类价值观的不确定性。
第三个原则借鉴了人工智能的一个子学科，称为逆强化学习 (IRL)，它专门关注通过观察某个实体（无论是人类、犬类还是蟑螂）的行为来学习其价值观。通过观察一个典型人类的早晨例行公事，机器人了解了咖啡对人类的价值。该领域尚处于起步阶段，但已经存在一些实用的算法，证明了其在设计智能机器方面的潜力。
随着 IRL 的发展，它必须找到应对以下事实的方法：人类是非理性的、不一致的和意志薄弱的，并且计算能力有限，因此他们的行为并不总是反映他们的价值观。此外，人类表现出多种价值观，这意味着机器人必须对人与人之间潜在的冲突和权衡保持敏感。而且，有些人纯粹是邪恶的，既不应帮助也不应效仿。
尽管存在这些困难，但我相信机器有可能充分了解人类价值观，以至于它们不会对我们的物种构成威胁。除了直接观察人类行为外，机器还将受益于访问大量关于人们做事（以及其他人做出反应）的书面和拍摄信息。设计能够理解这些信息的算法比设计超智能机器容易得多。此外，机器人及其制造者有强烈的经济动机来理解和承认人类价值观：如果一个设计不良的家用机器人将猫煮熟作为晚餐，而没有意识到它的情感价值超过了它的营养价值，那么家用机器人行业将倒闭。
充分解决安全问题以推动人工智能发展似乎是可行的，但并非易事。可能有几十年的时间来为超智能机器的到来做计划。但是，这个问题不应像一些人工智能研究人员所做的那样被断然否定。有些人认为，只要人类和机器在团队中工作，它们就可以共存——然而，除非机器与人类共享目标，否则这是不可行的。另一些人说，我们可以“关闭它们”，好像超智能机器太笨而想不到这种可能性。还有一些人认为超智能人工智能永远不会发生。1933 年 9 月 11 日，著名物理学家欧内斯特·卢瑟福满怀信心地表示，“任何期望原子转变产生能量的人都是在胡说八道。” 1933 年 9 月 12 日，物理学家利奥·西拉德发明了中子诱发核链式反应。