以下文章经许可转载自 The Conversation，这是一个报道最新研究的在线出版物。
我们周围存在着异类思维。不是科幻小说中的小绿人，而是驱动智能手机面部识别、决定你的信用度 以及创作 诗歌 和 计算机代码 的异类思维。这些异类思维是人工智能系统，是你每天都会遇到的机器中的幽灵。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保未来能够继续产出关于塑造我们当今世界的发现和想法的具有影响力的报道。
但是人工智能系统有一个重大限制：它们的许多内部运作都是 难以理解的，这使得它们从根本上无法解释 且不可预测。此外，构建以人们期望的方式运行的人工智能系统是一项重大挑战。
如果你从根本上不理解像人工智能这样不可预测的东西，你如何信任它？
为什么人工智能是不可预测的
信任 基于可预测性。它取决于你预测他人行为的能力。如果你信任某人，而他们的行为不如你所期望的那样，那么你对他们的信任感就会降低。
许多人工智能系统都建立在 深度学习 神经网络 之上，这在某些方面模仿了人脑。这些网络包含相互连接的“神经元”，这些神经元具有影响神经元之间连接强度的变量或“参数”。当一个幼稚的网络被呈现训练数据时，它会通过调整这些参数 “学习”如何对数据进行分类。通过这种方式，人工智能系统学会了对以前从未见过的数据进行分类。它不会记住每个数据点是什么，而是预测数据点可能是什么。
许多最强大的人工智能系统包含 数万亿个参数。正因如此，人工智能系统做出决策的原因往往是不透明的。这就是 人工智能可解释性问题 —— 人工智能决策制定过程中难以理解的 黑匣子。
考虑一下 “电车难题” 的一个变体。想象一下，你是一辆自动驾驶汽车的乘客，该汽车由人工智能控制。一个小孩子跑到路上，人工智能现在必须做出决定：撞死孩子还是转向并撞车，可能导致乘客受伤。对于人类来说，做出这个选择将是困难的，但人类的好处是能够解释他们的决定。他们的合理化——受道德规范、他人看法和预期行为的影响——支持信任。
相比之下，人工智能无法合理化其决策制定。你无法查看自动驾驶汽车引擎盖下的数万亿个参数来解释它为什么做出这样的决定。人工智能未能满足信任的可预测性要求。
人工智能行为和人类期望
信任不仅依赖于可预测性，还依赖于 规范或伦理 动机。你通常期望人们不仅按照你假设的那样行事，而且也应该按照他们应该做的那样行事。人类价值观受共同经验的影响，道德推理是一个 动态过程，受道德标准和他人看法的影响。
与人类不同，人工智能不会根据他人如何看待它或是否遵守道德规范来调整其行为。人工智能对世界的内在表示在很大程度上是静态的，由其训练数据设定。它的决策过程基于一个不变的世界模型，不受不断影响人类行为的动态、细致的社会互动的干扰。研究人员正在努力对人工智能进行编程以使其包含伦理道德，但这 被证明具有挑战性。
自动驾驶汽车场景说明了这个问题。你如何确保汽车的人工智能做出的决定符合人类的期望？例如，汽车可能会决定撞到孩子是最佳行动方案，但大多数人类驾驶员会本能地避免这种情况。这个问题就是 人工智能对齐问题，它是构成信任障碍的另一个不确定性来源。
关键系统和信任人工智能
减少不确定性并增强信任的一种方法是确保人们参与人工智能系统做出的决策。这是 美国国防部采取的方法，该部门要求，对于所有人工智能决策制定，都必须有人在环路中或 在环路之上。“在环路中”意味着人工智能系统提出建议，但需要人工来启动操作。“在环路之上”意味着虽然人工智能系统可以自行启动操作，但人工监控器可以中断或更改它。
虽然让人类参与进来是迈出的重要第一步，但我并不相信这在长期来看是可持续的。随着公司和政府继续采用人工智能，未来可能会包括嵌套的人工智能系统，快速的决策制定限制了人们干预的机会。在人类干预变得不可能的关键点到来之前，解决可解释性和对齐问题非常重要。到那时，除了信任人工智能之外别无选择。
避免达到那个临界点尤为重要，因为人工智能正越来越多地被集成到 关键系统 中，其中包括电网、互联网和 军事系统 等。在关键系统中，信任至关重要，不良行为可能会造成致命后果。随着人工智能集成变得更加复杂，解决限制可信度的问题变得更加重要。
人们能永远信任人工智能吗？
人工智能是异类的——一种人类对其知之甚少的智能系统。人类在很大程度上对其他人类是可预测的，因为我们拥有相同的人类经验，但这并不适用于人工智能，即使人工智能是人类创造的。
如果可信度本身就具有可预测性和规范性要素，那么人工智能从根本上缺乏使其值得信任的品质。希望该领域的更多研究能够阐明这个问题，确保未来的人工智能系统值得我们信任。
本文最初发表于 The Conversation。阅读 原文。