全自动武器对人类构成独特的危险

2019年9月，18架载弹无人机和7枚巡航导弹蜂拥而至，突破了沙特阿拉伯先进的防空系统，撞击了阿布盖格和胡赖斯油田及其加工设施。也门胡塞武装声称对这次出人意料的精密袭击负责，这次袭击使该国原油和天然气产量减半，并迫使全球油价上涨。然而，这些无人机可能并非完全自主：它们没有相互通信来选择自己的目标，例如特定的储油罐或炼油厂建筑物。相反，每架无人机似乎都预先编程了精确的坐标，并通过卫星定位系统导航数百公里到达这些坐标。

然而，就在您阅读这篇文章时，全自动武器系统（AWS）可能正在战区运行。土耳其已宣布计划在2020年初部署一支自主卡尔古四旋翼飞行器对抗叙利亚军队，俄罗斯也在为该地区开发空中蜂群。一旦发射，AWS无需人工监督即可发现、跟踪、选择和攻击目标，并施加暴力。

自主武器不是有自我意识的、人形的“终结者”机器人，密谋接管世界；它们是计算机控制的坦克、飞机、舰船和潜艇。即便如此，它们也代表了战争性质的根本性改变。人类正在将杀戮的决定外包给机器——没有人监督以在攻击实施前确定其合法性。自2000年代中期以来，美国国防部示意其打算为所有军种开发自主武器，从而引发了全球人工智能军备竞赛，此后，每个主要大国和几个较小的国家都在努力获取这些系统。美国国防部长马克·埃斯珀表示，中国已经向中东出口AWS。

关于支持科学新闻

如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。

自主武器的军事吸引力是多方面的。例如，美国海军的X-47B是一种无人战斗机，即使在有风的条件下也能在航空母舰上起降并在空中加油，其航程将是有人驾驶战斗机的10倍。美国还开发了一种名为海猎号的无人跨洋军舰，并配备了一支DASH（分布式敏捷潜艇猎杀）潜艇舰队。2019年1月，海猎号从圣地亚哥航行到夏威夷并返回，证明了其在太平洋地区使用的适用性。俄罗斯正在将其最先进的T-14阿玛塔坦克自动化，据推测将部署在欧洲边境；与此同时，武器制造商卡拉什尼科夫展示了一种全自动战斗模块，可以安装在现有武器系统（如火炮和坦克）上，使其能够感知、选择和攻击目标。为了不甘示弱，中国正在研发人工智能坦克和军舰，以及一种名为“暗剑”的超音速自主空对空战斗机，这种飞机能够以如此急剧和快速地扭转和转弯，以至于产生的重力会杀死一名人类飞行员。

鉴于如此激烈的竞争，焦点不可避免地转向速度更快的机器和自主无人机蜂群，这些蜂群可以通过大规模、多管齐下和协调一致的攻击来压倒敌方防御。推动此类武器的大部分动力来自着眼于巨额利润的国防承包商，但担心在人工智能军备竞赛中落后的高级军事指挥官也发挥了重要作用。一些国家，特别是美国和俄罗斯，只关注自主系统的潜在军事优势——这种目光短浅的观点使他们无法考虑当竞争对手赶上时可能出现的令人不安的局面。

作为一名机器人专家，当我第一次了解到建造AWS的计划时，我就认识到对武器系统进行有意义的人工控制的必要性。我们正面临战争的新时代，就像原子时代的曙光一样。无需历史学家也能意识到，一旦一种新型武器进入军事强国的武库，其使用将逐渐扩大，使人类面临今天几乎无法想象的冲突风险。2009年，我和其他三位学者成立了国际机器人武器控制委员会，该委员会后来与其他非政府组织（NGO）合作，组成了“阻止杀手机器人运动”。该运动现在是由来自60个国家的130个非政府组织组成的联盟，旨在说服联合国谈判一项具有法律约束力的条约，该条约将禁止开发、测试和生产在没有有意义的人工控制的情况下选择目标并以暴力攻击它们的武器。

思考时间

“拯救世界的男人”的真实故事说明了将人类从战争决策回路中排除出来的系统的最终危险。1983年，斯坦尼斯拉夫·彼得罗夫中校在俄罗斯核早期预警中心值班，当时他的计算机发出响亮的警报声，屏幕上以粗体红色字母显示“发射”字样——这表明一枚美国核导弹正在快速逼近。彼得罗夫按捺住紧张情绪，等待着。第二次发射警告响起，然后是第三次和第四次。随着第五次警告，他屏幕上的红色“发射”变成了“导弹袭击”。苏联反击的时间不多了，但彼得罗夫继续他的深思熟虑。“然后我做出了我的决定，”彼得罗夫在2013年接受BBC采访时说。“我不相信计算机。”他将核攻击报告为误报——即使他不能确定。事实证明，苏联卫星上的车载计算系统将云层反射的阳光错误地归类为洲际弹道导弹的发动机。

这个故事说明了深思熟虑的人工决策在战争中的重要作用：考虑到这些输入，自主系统会决定开火。但是做出正确的决定需要时间。一百年的心理学研究告诉我们，如果我们不花至少一分钟时间来仔细思考，我们就会忽视矛盾的信息，忽略歧义，压制怀疑，忽视确认性证据的缺失，编造原因和意图，并顺应期望。令人震惊的是，AWS的一个经常被引用的理由是，冲突的展开速度太快，人类无法做出决策。

“它比我快得多，”美国陆军采购官员布鲁斯·杰特去年10月对国防新闻说，他指的是坦克的目标瞄准系统。“我无法像它那样快速地看到和思考它能够计算出的某些事情。”事实上，速度是部分自主武器已经用于某些防御行动的一个关键原因，这些行动要求在几秒钟内完成对威胁的探测、评估和响应。这些系统——统称为SARMO（感知和反应军事物体）、自动化和自动武器系统——包括以色列的“铁穹”，用于保护该国免受火箭和导弹的袭击；美国的“密集阵”火炮，安装在军舰上，以防御反舰导弹或直升机的袭击；以及德国的NBS“螳螂”炮，用于击落较小的弹药，如迫击炮弹。它们是局部的、防御性的，不以人为目标，并且在紧急情况下由人类启动——这就是为什么它们不被认为是完全自主的。

诚然，这种区分很细微，并且SARMO和AWS技术边缘的武器已经在使用中。例如，以色列的“哈比”和“哈洛普”空中无人机是装载炸药的火箭，在空袭前发射，以清除该区域的防空设施。它们在附近巡航，搜寻雷达信号，确定信号是来自友方还是敌方，如果是后者，则俯冲轰炸，假设雷达与防空设施相连。2019年5月，据一份报告称，以色列的秘密无人机——“哈洛普”——炸毁了叙利亚境内的俄罗斯制造的防空系统。

这些无人机是“巡飞弹药”，仅在攻击时加速，但几种全自动系统的速度将从亚音速到超音速再到高超音速不等。例如，美国国防高级研究计划局（DARPA）已经测试了“猎鹰”无人高超音速飞机，其速度约为音速的20倍——大约每小时21000公里。

除了速度之外，军队还在追求“力量倍增”——通过自主无人机来提高武器系统的破坏能力，这些无人机像狼群一样合作，相互通信以选择和猎杀单个目标。一个人可以发射数百个（甚至数千个）武装无人机蜂群到空中、陆地或水面，或水下。一旦AWS被部署，操作员充其量成为观察员，他们可以中止攻击——如果通信链路没有被切断的话。

为此，美国正在开发固定翼无人机蜂群，如“雀鹰”和“小妖精”，它们可以携带导弹进行长距离飞行。DARPA已经对空中四旋翼无人机（以其高机动性而闻名）与地面车辆的蜂群协调进行了实地测试，海军研究办公室已经展示了一支由13艘船组成的舰队，可以“压倒对手”。中国电子科技集团公司采取了一项揭示该国意图的举动，（分别）测试了一组200架固定翼无人机，以及56艘小型无人舰艇，用于攻击敌方军舰。相比之下，俄罗斯似乎主要对坦克蜂群感兴趣，这些坦克蜂群可以用于协同攻击或部署来保卫国家边界。

与敌人博弈

彼得罗夫的故事也表明，尽管计算机可能很快，但它们经常出错。即使现在，凭借现代计算和传感器处理令人难以置信的能力和速度，人工智能系统也可能以许多不可预测的方式出错。2012年，国防部承认了自主武器可能存在的此类计算机问题，并强调需要最大限度地减少人为错误、人机交互故障、功能失灵、通信退化和软件编码故障。除了这些不言而喻的保障措施外，自主系统还必须免受对手通过网络攻击、渗透工业供应链、信号干扰、欺骗（误导定位系统）和部署诱饵进行的颠覆。

实际上，防止敌人破坏将极其困难，而这些攻击的后果可能是可怕的。干扰会阻止通信，从而使操作员无法中止攻击或重定向武器。它可能会扰乱蜂群中机器人武器之间的协调，并使其失控。欺骗会发送强烈的虚假GPS信号，可能导致设备迷路或被引导撞向建筑物。

诱饵是欺骗传感器和目标瞄准系统的真实或虚拟实体。即使是最复杂的人工智能系统也可能很容易被玩弄。研究人员发现，在标志上巧妙地添加一些点或线，以至于人类无法察觉的方式，可能会误导自动驾驶汽车，使其转向另一条车道逆向行驶或无视停车标志。想象一下，这样的伎俩可能会给自主武器带来什么样的麻烦。例如，车载计算机控制器可能会被愚弄，将热狗摊误认为是坦克。

然而，最令人困惑的是国防部清单上的最后一条指令：最大限度地减少“其他敌方反制措施或行动，或战场上无法预料的情况”。不可能最大限度地减少战场上无法预料的情况，因为你无法最大限度地减少你无法预料的事情。冲突区将具有潜在无限数量的不可预见的情况；冲突的本质就是出其不意地击败敌人。当涉及到AWS时，有很多方法可以欺骗传感器处理或扰乱计算机控制的机械。

国防部的指令遗漏了一个压倒性的计算机问题，令人惊讶的是，那就是机器与机器之间交互的不可预测性。当敌方自主武器相互对抗时会发生什么？令人担忧的答案是没有人知道或能够知道。每个AWS都必须由一个绝密的计算机算法控制。它的作战策略必须对其他人保密，以防止敌人成功采取反制措施。从安全角度来看，保密是有道理的——但这大大降低了武器行为的可预测性。

亚马逊网站上两家书商bordeebook和profnath在2011年4月提供了一个算法对抗失控的清晰例子。通常，1992年绝版书《果蝇的形成》的售价约为50美元，外加3.99美元的运费。但是，每次bordeebook提高价格时，profnath也会提高价格；反过来，这又提高了bordeebook的价格，依此类推。不到一周，bordeebook的书籍售价为23,698,655.93美元，外加3.99美元的运费，然后才有人注意到。两个简单且高度可预测的计算机算法失控了，因为它们冲突的策略对竞争对手卖家来说是未知的。

尽管这种错误定价是无害的，但想象一下，如果两群自主武器的复杂作战算法以高速相互作用，可能会发生什么。除了对抗性图像、干扰、欺骗、诱饵和网络攻击引入的不确定性之外，还必须面对在计算机算法相互较量时无法预测结果的情况。应该清楚的是，这些武器代表了战争性质的非常危险的改变。意外冲突可能会如此迅速地爆发，以至于指挥官没有时间理解或响应他们的武器正在做什么——留下毁灭性的后果。

在俄罗斯边境

想象一下以下情景，这是可能意外发生的众多噩梦般的对抗之一——除非能够阻止AWS竞赛。现在是2040年，成千上万辆自主超级坦克在俄罗斯与欧洲的边境线上闪耀着霜冻的光芒。成群结队的自主超音速机器人飞机在头顶飞过，搜寻敌方活动。突然，一辆坦克向地平线发射了一枚导弹，一架民用客机在火焰中坠落。这是一起事故——传感器故障触发了对抗模式——但坦克并不知道这一点。它们成群结队地隆隆驶向边境。战斗机转入战斗队形，并向黑海、巴伦支海和白海的机器人舰艇舰队和自主潜艇群发出警报。

不到10秒后，北约的自主反击武器从空中俯冲而下，地面和海上的攻击编队开始展开。双方的作战算法对敌人都是未知的，因此没有人可以预测敌对势力将如何互动。战斗机通过俯冲、俯冲和扭转来避开彼此，离心力会杀死任何人，它们以机器速度相互通信。每一方都有许多伎俩来玩弄对方。这些伎俩包括扰乱彼此的信号和使用虚假GPS坐标进行欺骗，以扰乱协调和控制。

在三分钟内，数百架喷气式飞机在俄罗斯和欧洲城市的上空以接近高超音速的速度战斗。坦克已经冲过边境，正在向通信基础设施以及火车站和道路上的所有移动车辆开火。自主舰艇上的大型火炮正在轰击陆地。自主海军战斗已经在海上和水下爆发。双方的军事领导人都在努力理解他们周围正在发生的破坏。但他们能做什么呢？与武器的所有通信都已被干扰，指挥和控制结构完全崩溃。自从客机意外被击落以来，仅仅过去了22分钟，成群结队的坦克正在快速接近赫尔辛基、塔林、里加、维尔纽斯、基辅和第比利斯。

俄罗斯和西方领导人开始紧急讨论，但没有人能弄清楚这是如何开始的或原因。当近乎徒劳地努力疏散主要城市时，手指正在核按钮上蠢蠢欲动。这种混乱是史无前例的，军队感到困惑。他们的计划已经瓦解，死亡人数正在以毫秒为单位迅速增加。导航系统已被广泛欺骗，因此一些武器正在脱离蜂群并撞向建筑物。其他武器已被黑客入侵，正在进行杀戮狂潮。虚假的电子信号正在使武器随机开火。乡村遍布动物和人类的尸体；城市沦为废墟。

人类的重要性

一项禁止开发、生产和使用AWS并确保对武器系统进行有意义的人工控制的具有约束力的国际条约变得越来越紧迫。一位人类专家，充分了解情况和背景，并有足够的时间来审议目标的性质、重要性和合法性、攻击的必要性和适当性以及可能的结果，应该决定是否开始攻击。在过去的六年里，“阻止杀手机器人运动”一直试图说服联合国成员国就一项条约达成一致。我们在联合国《特定常规武器公约》（CCW）中工作，这是一个由125个国家组成的论坛，旨在谈判禁止造成过度痛苦的武器。成千上万的科学家和计算机与机器学习领域的领导人加入了这一呼吁，许多公司，如谷歌的DeepMind，也加入了这一呼吁。截至上次统计，已有30个国家要求彻底禁止全自动武器，但大多数其他国家都希望制定法规，以确保人类对做出攻击（或不攻击）的决定负责。然而，以美国、俄罗斯、以色列和澳大利亚为首的少数几个国家正在阻碍进展。

在CCW上，俄罗斯和美国明确表示，他们反对“人工控制”一词。美国正在努力用“适当程度的人工判断”来取代它——如果认为合适，这可能意味着根本没有人为控制。幸运的是，仍然存在一些希望。联合国秘书长安东尼奥·古特雷斯告知CCW政府专家组，“拥有在没有人为干预的情况下剥夺生命的力量和酌处权的机器在政治上是不可接受的，在道德上是令人厌恶的，应该受到国际法的禁止。”常识和人性必须占上风——在为时已晚之前。