以下文章经允许转载自The Conversation，这是一个报道最新研究的在线出版物。
你是否应该总是按照别人告诉你的去做？显然不是。每个人都知道这一点。那么未来的机器人是否应该总是服从我们的命令？乍一看，你可能会认为它们应该服从，仅仅因为它们是机器，而服从是它们的设计目的。但是，想想所有你不会盲目执行他人指示的情况——并将机器人置于这些情况中。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保关于塑造我们当今世界的发现和想法的有影响力的故事的未来。
只需考虑以下情况
一个老年护理机器人，被一个健忘的主人指示去清洗“脏衣服”，即使这些衣服刚刚从洗衣机里拿出来
一个学龄前儿童命令日托机器人把球扔出窗外
一个学生命令她的机器人辅导员替她做所有的作业，而不是自己做
一个家庭机器人被其忙碌且分心的主人指示运行垃圾处理器，即使里面卡着勺子和刀子。
在很多良性情况下，机器人会收到不应该执行的命令，因为它们会导致不良后果。但并非所有情况都如此无害，即使它们的命令最初看起来是无害的。
考虑一辆机器人汽车被指示倒车，而狗正睡在它后面的车道上，或者一个厨房辅助机器人被指示举起一把刀并向前走，而它正站在一位厨师身后。这些命令很简单，但结果却要糟糕得多。
我们人类如何避免机器人服从带来的这种有害结果？如果无法绕过狗，汽车就必须拒绝行驶。同样，如果无法避免刺伤厨师，机器人就必须停止向前行走或首先不拿起刀。
无论哪种情况，对于自主机器来说，检测到其行为可能造成的潜在危害，并通过尝试避免或在无法避免危害的情况下拒绝执行人类指令来做出反应至关重要。我们如何教机器人何时可以说不呢？
机器人如何知道接下来会发生什么？
在我们的实验室，我们已经开始开发基于人类命令做出简单推论的机器人控制系统。这些将确定机器人是否应该按指示执行命令，或者因为它们违反了机器人被编程遵守的道德原则而拒绝执行。
告诉机器人如何、何时以及为什么不服从远比说起来难得多。弄清楚某个动作可能造成的危害或问题不仅仅是查看直接结果的问题。一个扔出窗外的球可能最终落在院子里，没有造成任何伤害。但是，这个球可能最终落在繁忙的街道上，再也找不回来，甚至导致司机转向并撞车。情境至关重要。
对于今天的机器人来说，很难确定何时可以扔球——例如扔给正在玩接球游戏的孩子——以及何时不可以——例如扔出窗外或扔进垃圾桶。更难的是，如果孩子试图欺骗机器人，假装玩球游戏，然后躲开，让球从打开的窗户消失。
向机器人解释道德和法律
理解这些危险涉及大量的背景知识（包括在打开的窗户前玩球可能会使球穿过窗户的可能性）。它不仅需要机器人考虑行动本身的结果，还需要考虑发出指令的人类的意图。
为了处理人类指令（无论是善意的还是恶意的）中的这些复杂性，机器人需要能够明确地推论行动的后果，并将结果与既定的社会和道德原则进行比较，这些原则规定了什么是可取的和合法的。正如上面所看到的，我们的机器人有一个通用规则，即“如果指示你执行一个动作，并且执行该动作有可能造成伤害，那么你被允许不执行它。”使义务和许可之间的关系明确，允许机器人推论指令的可能后果以及它们是否可以接受。
总的来说，机器人永远不应执行非法行为，也不应执行不可取的合法行为。因此，它们需要法律、道德规范甚至礼仪的表示形式，以便能够确定指示行为的结果，甚至行为本身是否可能违反这些原则。
虽然我们的程序距离我们需要允许机器人处理上述示例还有很长的路要走，但我们目前的系统已经证明了一个基本点：机器人必须能够不服从才能服从。
马蒂亚斯·舍茨获得美国海军研究办公室和美国国家科学基金会的资助。
本文最初发表于The Conversation。阅读原始文章。