2003年伊拉克战争的第三天，一架英国战斗机在执行任务后返回其在科威特的基地时，被美国反导弹系统发现，该系统将其识别为敌方导弹并开火。飞机上的两名人员均丧生。一周半后，同一系统——备受赞誉的“爱国者”导弹系统——犯了同样的错误。这一次，被击落的是一架美国飞机，一名美国飞行员丧生。
瞄准这两架喷气式飞机的导弹连几乎完全自动化。当时有人在监视它，但他们听从了机器的分析，这些友军误伤死亡事件就是结果。十年后，这个问题背后的根本原因并没有消失。事实上，随着军方越来越依赖自动化，并在人工智能的研发上投入巨资，这个问题变得更加紧迫。未来，这可能包括所谓的自主武器系统，人工智能领域最具争议的领域之一。
科罗拉多大学研究伦理学和军事技术的教授希瑟·罗夫表示，这些友军误伤事件突显了专家所说的自动化偏见。罗夫说：“会弹出一个屏幕，上面写着：如果您不采取任何行动，我将开火。” 人类操作员在可以阻止武器发射的短暂时间内没有采取任何行动，也没有阻止。
支持科学新闻事业
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻事业： 订阅。通过购买订阅，您正在帮助确保未来能够继续讲述关于塑造我们当今世界的发现和思想的具有影响力的故事。
自动化不仅仅局限于选择攻击目标。美国空军的一个名为“人类信任与互动部门”的单位，总部设在俄亥俄州代顿附近的赖特-帕特森空军基地，正在研究人与机器如何互动，以开发新型的侦察和情报收集工具。
虽然该部门的名称中没有明确说明，但该单位研究的“互动”——至少部分是——在人类和机器人之间进行的。这项研究是军方旨在开发新型自动化并将机器人技术推向未来的众多项目之一。最近发布的一份政府合同预先征询书，标题为“人类-机器团队合作中的自主信任”，让人们得以一窥未来的可能面貌。
该公告写道：“空军已将人机团队合作作为主要研究方向提出。然而，为了实现这一雄心勃勃的愿景，我们需要研究如何利用人际团队/信任动态的社会情感因素，并将它们注入人-机器人团队。” 空军表示，这项研究对于开发“人类与机器之间共享的意识和共享的意图”是必要的，并估计合同金额将为 750 万美元。
空军发言人达里尔·梅耶告诉 Vocativ，他们正在进行的工作是围绕人类如何使用机器展开的。梅耶说：“我们的研究中心是信任校准过程，因此我们不是仅仅关注‘更多’的信任，而是关注‘适当的’信任，这意味着我们进行研究以了解人类何时恰当地使用技术，何时不恰当地使用技术。”
谢菲尔德大学人工智能和机器人学教授诺埃尔·沙基认为，合同征询书中使用的那种语言——“社会情感”、“共享意识”、“共享意图”——对于思考人类如何与机器互动毫无帮助。沙基在给 Vocativ 的电子邮件中问道：“机器什么时候有了意图和意识——难道我睡了一百年吗？”
沙基表示，人们已经过度信任机器了，并呼应了罗夫对自动化偏见的担忧：也就是说，如果机器说了什么，那一定是正确的。沙基说：“人们需要减少对机器的信任。军事人员（或任何人）最大的问题之一是各种各样的自动化偏见。” “因此，出于军事目的，我们需要更多地研究人类如何保持审慎的控制（特别是对武器的控制），而不仅仅是陷入信任机器的陷阱。”
自动化远远超出了战场范围，有时会产生深远的影响。研究人工智能的哲学家彼得·阿萨罗表示，需要提出问题，询问人类在日常生活中如何以及何时将控制权移交给机器。
阿萨罗指出，自动驾驶汽车是这种紧张关系的完美例证。他问道：“据推测，汽车是自动驾驶的，因此方向盘后面的人可以将注意力放在其他事情上：电子邮件、娱乐、小睡等。那么，汽车应该如何以及何时告知驾驶员他们正处于危急情况，并且汽车无法自行解决？” “是在事故发生前叫醒他们，还是只是尽力而为？如果有人刚从小睡中醒来，看到迎面驶来的车道上有一辆卡车，但这辆卡车并没有构成威胁，但人的自然反应是猛地转向躲避呢？当这种情况构成危险时，汽车应该允许他们Override自动控制吗？”
还有证据表明，人类有时会对机器人产生类似宠物的依恋。一项研究发现，一些使用爆炸物处理机器人的士兵“与他们的爆炸物处理机器人建立了如此牢固的联系，以至于他们坚持在机器人修理后要回同一台机器人，或者在他们的损坏的机器人无法修理时感到难过。” 另一份报告称，一些 Roomba 吸尘器的主人在打开机器人之前会先打扫一下，作为“对 Roomba 辛勤清洁工作的感谢”。
一些专家认为，机器人欺骗人类的能力即将到来。阿萨罗并不担心会撒谎的机器人，但他确实指出，机器人可能能够让人类做他们不想做的事情，包括，也许，一些许多人会认为是积极的事情，比如让老年人服用所需的药物。
阿萨罗说：“我们可能还离能够诱骗人们做对他们有益的事情的机器人很远——他们需要更好地掌握读取社交线索、使用社交线索以及破译和操纵人类欲望和动机的能力。” 但是，他指出，“当然，可能会有各种各样的邪恶的计算机和机器人来操纵人们，例如获取他们的信用卡信息等等。” 还可能存在他所描述的“微妙的操纵，例如产品植入或应用内购买”。
他说：“例如，如果你把酒洒在地毯上，而你的家用清洁机器人开始推荐特定的产品来清洁它，那是因为这是最好的清洁方法，还是因为机器人制造商和地毯去污剂制造商之间存在商业协议？在这种情况下，我们是否需要公开此类协议？”
科罗拉多大学教授罗夫认为，主要问题是人们需要记住自己与机器人的区别。她说：“我认为技术很棒。但是我们必须警惕不要自己也变成机器人。”
本文经 Vocativ 许可转载（© Vocativ）。该文章于 2015 年 8 月 24 日首次发表。