当杰森·马泰尼在 2009 年加入美国情报高级研究计划署（IARPA）担任项目经理时，他养成了与该组织的研究分析师聊天的习惯。“你们需要什么？”他会问，而答案总是一样的：一种做出更准确预测的方法。“如果我们为您制作一个人工智能计算机模型，可以预测现实世界的事件，如政治不稳定、武器试验和疾病爆发呢？”马泰尼会问。“您会使用它吗？”
分析师的反应很热情，但有一个关键的注意事项。“归根结底，他们是否可以向决策者（如国防部长）解释该模型，”马泰尼说，他现在是 IARPA 的主任。如果人工智能 (AI) 模型告诉国防分析师朝鲜正准备轰炸阿拉斯加怎么办？“他们不希望处于认为系统可能出错，但不确定原因或方式的境地，”他补充道。
今天的 AI 难题就在于此：最强大的技术——即深度神经网络——是出了名的不透明，几乎没有提供关于它们如何得出结论的线索。但是，如果消费者要将他们的安全委托给人工智能驱动的汽车，或将他们的健康委托给人工智能辅助的医疗保健，他们会想知道这些系统是如何做出关键决策的。“[深度神经网络] 可能真的很好，但它们也可能以神秘的方式失败，”牛津大学人类未来研究所高级研究员 Anders Sandberg 说。“人们开始意识到，你不能完全信任这种软件。”
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
随着人工智能开始改变包括交通运输、医疗、制造业和国防在内的整个行业，越来越多的研究人员正在采取措施来解决这一担忧。全面的解决方案仍需数年时间，但一些有希望的计划正在涌现。一些研究人员像科学家测试实验鼠一样测试人工智能系统，通过调整输入来观察它们如何影响行为，以期阐明决策过程。其他人则尝试用额外的网络来探测网络的行为，或者发明新的编程语言来更好地控制这些系统的学习方式。这些方法可能各不相同，但它们的目标是相同的：确保我们的机器不会进化得太超出我们理解它们的能力。
微调
今天深度神经网络之所以强大而又反复无常，是因为它们能够从海量数据中找到模式。这些复杂的计算系统以人脑为蓝本，是当前人工智能繁荣的秘诀。它们是 Apple 的 Siri 和 Amazon 的 Alexa 等数字助理在语音识别方面变得非常出色的原因，也是 Google 翻译最终变得可以理解的原因。它们还使机器能够识别图像、预测疾病并在电视问答节目 Jeopardy! 和比国际象棋更复杂的围棋游戏中击败人类。
神经网络通过将信息传递到相互连接的层级结构中来处理信息，这有点类似于大脑的生物电路。数字“神经元”（称为节点）的第一层接收原始输入（例如猫照片中的像素），根据简单的数学规则混合和评分这些输入，然后将输出传递到下一层节点。“深层”网络包含从三层到数百层不等，最后一层将所有这些神经活动提炼成一个单一的预测：这是一张猫的照片，例如。
如果预测是错误的，神经网络将调整节点之间的链接，引导系统更接近正确的结果。Yann LeCun，Facebook 人工智能研究主管，将这种数字连接网络比作一个带有数百万个旋钮的盒子。通过调整旋钮以满足数百万个示例，神经网络创建一个结构化的关系集（模型），该模型可以对新图像进行分类或在以前从未遇到过的条件下执行操作。
这个过程被称为深度学习，它使神经网络能够创建过于复杂或过于繁琐而无法手动编码的 AI 模型。这些模型可能非常复杂，最大的模型接近万亿个参数（旋钮）。“深度学习的酷之处在于你不需要告诉系统要寻找什么，”纽约市西奈山伊坎医学院生物医学信息学主任 Joel Dudley 说。“只是，‘这是一百万张猫的照片。你弄清楚猫是什么样的。’”
这种灵活性使神经网络能够胜过其他形式的机器学习（这些机器学习受限于其相对简单性），有时甚至胜过人类。例如，西奈山的一个名为 Deep Patient 的实验性神经网络可以预测患者是否会在明年内获得特定诊断，这比医生做出诊断的时间早几个月。Dudley 和他的同事通过向系统输入 12 年的电子健康记录（包括来自 70 万名患者的测试结果和住院就诊记录）来训练该系统。然后，Deep Patient 自己辨别出疾病的隐藏先兆。“我们表明它可以预测 90 种不同的疾病，从精神分裂症到癌症到糖尿病，准确率非常高——而且从未与专家交谈过，”Dudley 说。
数字潜意识
然而，由于神经网络本质上是自我编程的，它们通常会学习到人类无法完全理解的神秘规则。“很难找出[神经网络]做出特定决定的原因，”英国西英格兰大学布里斯托分校的机器人伦理学家 Alan Winfield 说。当谷歌的 AlphaGo 神经网络去年在首尔与围棋冠军李世石对弈时，它走了一步棋，让所有观看者，甚至李世石都感到困惑。“我们仍然无法解释它，”Winfield 说。当然，理论上，您可以打开引擎盖，查看 AlphaGo 人工智能大脑中每个旋钮（即每个参数）的每个位置，但即使是程序员也无法从这些数字中获得太多信息，因为它们的“含义”（驱动神经网络做出决定的原因）编码在节点之间数十亿个分散的连接中。
许多专家发现这种不透明性令人担忧。“这在围棋比赛中无关紧要，但想象一下无人驾驶汽车的自动驾驶仪，”Winfield 说。“如果发生严重事故，简单地对调查员或法官说‘我们只是不明白汽车为什么会那样做’是不可接受的。”不难想象其他有问题的场景：一架自主无人机袭击了一所学校；一个贷款评估程序不恰当地拒绝了少数族裔的申请；像 Deep Patient 这样的系统做出了虚假的诊断。“让一个你没有完全理解的非常复杂的系统表现正常是一个深刻的问题，”Sandberg 说。
揭开人工智能的面纱
研究人员正在调查许多可能的解决方案。一种方法（称为模型归纳或“观察者方法”）将人工智能系统视为黑匣子。“您对其进行实验，并尝试推断其行为，”国防高级研究计划局 (DARPA) 可解释人工智能计划的负责人 David Gunning 说。例如，通过切开一张猫的图像，并将碎片一次一块地输入神经网络，程序员可以很好地了解哪些部分（尾巴、爪子、皮毛图案或一些意想不到的东西）导致计算机做出正确的分类。
还有外科手术方法，“这让我们能够真正深入了解人工智能系统的大脑，”俄勒冈州立大学电气工程和计算机科学教授 Alan Fern 说，他正在领导 Gunning 计划资助的 12 个项目之一。诀窍是让他看到的东西有某种意义。“一个真正的解释将追踪网络中每个节点的每一次触发，”创建一个漫长而复杂的审计跟踪，这对人类来说是“完全无法解释的”，Fern 说。为了提取更具意义的（如果不太精确）解释，Fern 的团队提议用第二个神经网络探测神经网络。这个“解释网络”将学习原始模型中的哪些神经活动对于做出特定决策最重要。
希望是创建一个原型神经网络，这将有助于提高无人机或无人驾驶汽车等自主系统的透明度。“我不认为我们永远可以对任何软件都抱有完全的信心，”Fern 说，“但我们可以做更多的事情来确保系统出于正确的原因做正确的事情，并且不会在后台做一些疯狂的事情。”
这也是 Bonsai 的目标，这是一家初创公司，正在开发一种名为 Inkling 的新编程语言，以帮助企业训练自己的深度学习系统来解决城市规划和供应链物流等组织问题。“我们的许多客户对将决策权交给黑匣子有所保留，”联合创始人兼首席执行官 Mark Hammond 说。Bonsai 试图通过改变神经网络的学习方式来打开盒子。Hammond 指出，我们大多数人不像今天的神经网络那样，仅仅通过反复试验来学习。我们也受到父母、老师、教练和 YouTube 视频的教导。例如，我们学习打棒球不是通过挥舞球棒击打快速球直到击中一个球，而是通过教育：我们被教导如何将威浮球从发球座上击落，然后挥动球棒击打容易的高抛球，直到我们准备好迎接真正的投球。一直以来，我们都在学习游戏的语言——这种语言让我们能够解释我们正在做什么以及为什么这样做。
Dudley 也在尝试用各种方法来解释 Deep Patient 的预测。他不太关心系统的黑匣子性质，只要它生成的模型可以在临床试验中被证明是安全的。（毕竟，他说，“我们给出的绝大多数药物都是黑匣子。”）尽管如此，他对 Deep Patient 的理由感到好奇，因为他认为这可能有助于医生更好地理解和治疗疾病。虽然他无法知道 Deep Patient 做出特定诊断的原因，但他可以寻找具有相同诊断的患者集群并计算他们的相似性。这项练习已经发现了一些令人惊讶的发现，包括糖尿病和阿尔茨海默病之间的联系，这些联系早于 Deep Patient。例如，糖尿病药物 二甲双胍 似乎可以保护某些类型的患者免受阿尔茨海默病的侵害——这种相关性在使用标准统计数据时并不明显。
展示和讲述
然而，一些专家担心，这种零敲碎打的努力不足以确保公众对智能系统的信任。2016 年，欧盟通过了新的数据保护规则——将于明年生效——其中包括算法决策解释的合法权利。与此同时，IEEE（电气和电子工程师协会）的一个工作组正在制定行业标准，这可能有助于定义“解释”的实际含义。“透明度不是一回事，”领导该工作组的 Winfield 说。“一位老年人需要了解她的护理机器人的内容与安全测试人员需要了解的内容——或事故调查员或律师或普通公众需要了解的内容是不同的。”
牛津大学的 Sandberg 喜欢开玩笑说，他知道美国成为超级大国的秘诀。“那是因为他们学校有‘展示和讲述’，”他说。这个俏皮话可能是半开玩笑，但它的寓意是真诚的：他补充说，“能够解释事物会给你一种力量。”