“机器从核火的灰烬中崛起。” 骷髅在机器人坦克履带下被碾碎。漂浮的阴影飞行器发出激光闪光。渺小的人类身影四处奔逃。
这些标志性的画面开启了《终结者》，这部电影或许比任何其他电影都更集中地将 20 世纪 80 年代的科幻恐惧凝聚成一部（相当不错的）电影，背景设定在 2029 年核战后的洛杉矶。
当我们冲向人工智能的未来，军备竞赛再次重燃，而对安全问题的思考却少之又少时，我们是否正走向类似好莱坞的地狱景象，机器已经杀死或奴役了几乎整个人类？
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保未来能够继续刊登关于发现和塑造我们当今世界的思想的具有影响力的报道。
嗯，是的，现在正在发生。俄罗斯和乌克兰已经互相发动无人机袭击两年了，而且越来越多的无人机是自主的。据称，以色列一直在加沙使用人工智能目标定位程序，针对数千个基础设施和人类目标，在许多情况下几乎没有或根本没有人为监督。
更贴近本土，美国国防部一直在公开大力宣传其将人工智能纳入其武器系统许多方面的计划。国防部副部长凯瑟琳·希克斯表示，在 2023 年底在五角大楼发布新的 AI 战略时：“当我们专注于以负责任且快速的方式将人工智能融入我们的行动时，我们这样做的主要原因一直很简单：因为它提高了我们的决策优势。”
将人工智能纳入武器系统的趋势主要是因为它在整合信息以做出决策方面的速度；在许多任务中，人工智能已经比人类快数千倍，很快将快数百万倍，然后是数十亿倍。这种“加速决策优势”逻辑，即新的 AI 战略文件的副标题，可以应用于所有类型的武器系统，包括核武器。
专家们已经警告过将先进的人工智能系统纳入监视和武器发射系统，包括詹姆斯·约翰逊在 12 月出版的著作《人工智能与炸弹》：数字时代的核战略与风险 中也提出了警告，该书认为我们正走在一条将人工智能纳入核武器系统的道路上，而核武器是有史以来开发的最危险的武器。佐治亚州前参议员萨姆·纳恩是国防政策领域长期以来备受尊敬的声音，还有许多其他人也警告说，如果以这种方式使用人工智能，可能会发生灾难。
纳恩和与他共同创立的核威胁倡议相关的其他人在一份文件中提出的“全球核秩序”七项原则之一是：“创建强大且公认的方法来增加领导人的决策时间，尤其是在紧张局势加剧和极端情况下，当领导人担心自己的国家可能受到攻击威胁时，这可能是一个共同的概念目标，将近期和长期步骤联系起来，以管理不稳定并努力实现共同安全。” 显而易见，这项原则与当前将人工智能投入一切领域的趋势背道而驰。事实上，纳恩和他的合著者提出的下一项原则认识到这种内在冲突：“人工智能……可能会危险地压缩决策时间，并使高度致命武器的安全管理复杂化。”
我就这些问题采访了军事和人工智能专家，虽然对于威胁的具体性质或解决方案没有达成共识，但人们普遍感到人工智能在核武器使用方面存在非常严重的潜在危害。
2 月，国务院发布了格拉德斯通人工智能公司（Gladstone AI）关于人工智能安全问题的一份主要报告，该公司由国家安全专家爱德华和杰里米·哈里斯创立。我联系了他们，询问我认为他们的报告中遗漏的一些内容。虽然爱德华并不认为将人工智能纳入核武器监视和发射决策是一个近期威胁（他们的报告更侧重于常规武器系统），但他在我们讨论结束时表示，担心被敌人使用人工智能抢先或欺骗是一个潜在军事升级的“有意义的风险因素”。他认为，“政府不太可能将核武器的控制权交给人工智能……而不是将常规武器的控制权交给人工智能。”
但在我们的对话中，他承认，担心被人工智能虚假信息欺骗“可能是促使各国将核武库的控制权移交给人工智能系统的原因：这些人工智能系统在面对对抗性人工智能生成的虚假信息时，可能比人类更胜任做出判断”。约翰逊在《人工智能与炸弹》中勾勒了这种情景。
约翰·冯·诺伊曼是一位才华横溢的匈牙利裔美国数学家，他将博弈论发展成为数学的一个分支，他是核先发制人作为一种“预防性战争”的倡导者。对他来说，博弈论和理智强烈地表明，美国应该在苏联发展出足以使任何此类打击成为相互自杀的核武库之前，狠狠地打击苏联。他在 1950 年评论道：“如果你问为什么不明天轰炸他们，我说为什么不是今天？如果你说今天五点，我说为什么不是一点？”
尽管这位杰出人物提出了鹰派建议，但美国实际上并没有用核弹或常规炸弹袭击苏联。但是，纳入常规和核武器系统的人工智能会采取冯·诺伊曼式的鹰派博弈论方法吗？还是这些程序会采用更富同情心和人性的决策准则？
我们今天当然无法知道，国防政策制定者及其人工智能程序员也无法知道，因为今天的大型语言模型（LLM）人工智能的工作原理是出了名的“黑匣子”。这意味着我们根本不知道这些机器是如何做出决策的。虽然以军事为中心的人工智能肯定会接受培训并获得指导方针，但在事后之前，无法知道人工智能在任何特定情况下会如何反应。
而这正是贸然将人工智能纳入我们武器系统所带来的真正深刻而令人不寒而栗的风险。
有些人认为，核武器系统与常规武器系统不同，军事决策者会抵制将人工智能纳入这些系统的冲动，因为风险要高得多，而且大幅加速发射决策可能没有任何明显的优势。
战术核武器的兴起，它体积更小，专为潜在的战场使用而设计，大大模糊了这些界限。俄罗斯就可能在乌克兰使用战术核武器发出的武力恫吓使这种区别变得过于真实。
我们现在就需要健全的法律，以阻止将人类从核决策中排除。最终目标是没有“核灰烬”，也没有天网。永远。
这是一篇观点和分析文章，作者或作者表达的观点不一定代表《大众科学》的观点。