迪恩·波默卢仍然记得他第一次与黑匣子问题作斗争。那是 1991 年，他正在进行一项开创性的尝试，要做现在自动驾驶汽车研究中司空见惯的事情：教计算机如何驾驶。
波默卢说，这意味着要驾驶一辆特殊装备的悍马军用车辆，引导它穿过城市街道。当时，他还是宾夕法尼亚州匹兹堡卡内基梅隆大学的机器人学研究生。和他一起在悍马车上的是一台计算机，他已经编程让它通过摄像头观察，解释道路上发生的事情，并记住他所做的每一个反应。波默卢希望，最终，这台机器能够建立足够的联系，从而自行驾驶。
每次行程中，波默卢都会训练系统几分钟，然后放手让它自行驾驶。一切似乎都很顺利，直到有一天，悍马车驶近一座桥梁，突然向一侧转弯。他只是通过快速抓住方向盘并重新控制才避免了碰撞。
支持科学新闻
如果您喜欢这篇文章，请考虑支持我们屡获殊荣的新闻报道，方法是 订阅。通过购买订阅，您将有助于确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
回到实验室，波默卢试图了解计算机哪里出了问题。“我论文的一部分是打开黑匣子，弄清楚它在想什么，”他解释道。但如何做到呢？他已经编程让计算机充当“神经网络”——一种模仿大脑的人工智能（AI），它有望在处理复杂的现实世界情况方面比标准算法更好。不幸的是，这种网络也像大脑一样不透明。它们不是将学到的东西存储在整齐的数字存储块中，而是以一种极其难以辨认的方式扩散信息。只有在广泛测试他的软件对各种视觉刺激的反应后，波默卢才发现了问题：该网络一直在使用长满草的道路作为道路方向的指导，因此桥梁的出现让它感到困惑。
25 年后，破译黑匣子变得越来越困难和紧迫。这项技术本身的复杂性和应用都呈爆炸式增长。波默卢现在在卡内基梅隆大学兼职教授机器人学，他将他那辆小型车载系统描述为当今机器上实施的 庞大神经网络 的“穷人版本”。而 深度学习技术（其中网络在大量大数据档案上进行训练）正在寻找商业应用，范围从 自动驾驶汽车 到根据用户的浏览历史推荐产品的网站。
它有望在科学领域也变得无处不在。未来的射电天文观测台将需要深度学习来在它们原本 难以管理的数据量 中找到有价值的信号；引力波探测器将使用它来理解和消除最微小的噪声源；出版商将使用它来搜索和标记数百万篇研究论文和书籍。一些研究人员认为，最终，配备深度学习的计算机甚至可能会展现出想象力和创造力。“您只需将数据投入这台机器，它就会返回自然法则，”加州理工学院帕萨迪纳分校的物理学家让-罗奇·弗利芒特说。
但这样的进步会使黑匣子问题更加严重。例如，机器究竟是如何找到那些有价值的信号的？ 谁又能确定它是正确的？人们应该愿意在多大程度上信任深度学习？“我认为我们肯定正在输给这些算法，”纽约市哥伦比亚大学的机器人专家霍德·利普森说。他将这种情况比作遇到一个聪明的外星物种，他们的眼睛不仅有红、绿、蓝三种原色受体，而且还有第四种颜色受体。对于人类来说，很难理解外星人如何看待世界，而对于外星人来说，也很难向我们解释，他说。计算机在向我们解释事情时也会遇到类似的困难，他说。“在某种程度上，这就像向狗解释莎士比亚一样。”
面对这样的挑战，人工智能研究人员的反应就像波默卢一样——打开黑匣子，进行类似于神经科学的研究，以了解内部的网络。日内瓦附近欧洲粒子物理实验室 CERN 的物理学家文森佐·因诺琴特说，答案不是洞察力，他开创了人工智能在该领域的应用。“作为一名科学家，”他说，“我仅仅将猫和狗区分开来是不满意的。科学家希望能够说：‘区别在于如此如此’。”
好的旅程
第一批人工神经网络创建于 1950 年代初，几乎在有能够执行算法的计算机后不久。其想法是模拟小的计算单元——“神经元”，它们排列在由大量数字“突触”连接的层中。底层中的每个单元都会接收外部数据，例如图像中的像素，然后将该信息分发到下一层中的部分或全部单元。然后，第二层中的每个单元使用简单的数学规则整合来自第一层的输入，并将结果进一步传递。最终，顶层产生一个答案——例如，将原始图片分类为“猫”或“狗”。
这种网络的力量源于它们学习的能力。给定一组带有正确答案的训练数据集，它们可以通过调整每个连接的强度来逐步提高其性能，直到它们的顶层输出也正确为止。这个过程模拟了大脑通过加强或减弱突触来学习的方式，最终会产生一个可以成功分类不属于其训练集的新数据的网络。
这种学习能力在 1990 年代对 CERN 的物理学家来说是一个主要的吸引力，当时他们是最早将大规模神经网络用于科学的科学家之一：该网络将被证明对重建 CERN 大型强子对撞机 中粒子碰撞产生的亚原子碎片轨迹有很大帮助。
但是，这种学习形式也是为什么信息在网络中如此扩散的原因：就像在大脑中一样，记忆被编码在多个连接的强度中，而不是像传统数据库那样存储在特定位置。加州大学欧文分校的机器学习研究员皮埃尔·巴尔迪说：“您的电话号码的第一位数字存储在大脑中的哪个位置？可能在一堆突触中，可能离其他数字不远。”但是，没有明确定义的位序列来编码该数字。因此，拉勒米怀俄明大学的计算机科学家杰夫·克伦说，“即使我们构建了这些网络，我们对它们的理解程度也不比对人脑的理解程度高。”
对于必须处理各自学科中大数据科学家而言，这使得深度学习成为一种谨慎使用的工具。英国牛津大学的计算机科学家安德里亚·韦达尔迪说，要了解原因，请想象在不久的将来，使用旧的乳房 X 光片训练一个深度学习神经网络，这些乳房 X 光片已经根据哪些女性后来患上乳腺癌进行了标记。韦达尔迪说，经过这种训练，一位显然健康的女性的组织可能对机器来说已经“看起来”癌变了。“神经网络可能已经隐含地学会了识别我们不了解的标志物——但这些标志物可以预测癌症，”他说。
韦达尔迪说，但是如果机器不能解释它是如何知道的，它将给医生和他们的患者带来严重的困境。一位女性因为有 已知会大大增加癌症风险的基因变异 而选择预防性乳房切除术已经够难的了。但是，如果甚至不知道风险因素是什么，即使做出建议的机器恰好在其预测中非常准确，做出该选择可能会更加困难。
华盛顿州西雅图谷歌公司的生物物理学家和程序员迈克尔·泰卡说：“问题在于，知识被融入网络，而不是融入我们。”“我们真的理解了什么吗？没有真正——网络理解了。”
几个小组在 2012 年开始研究这个黑匣子问题。一个由加拿大安大略省多伦多大学的机器学习专家杰弗里·辛顿领导的团队参加了一场计算机视觉竞赛，并首次表明，深度学习从 120 万张图像的数据库中分类照片的能力远远超过任何其他人工智能方法。
为了更深入地了解这是如何实现的，韦达尔迪的小组采用了辛顿开发的用于改进神经网络训练的算法，并基本上反向运行它们。该团队不是教网络对图像进行正确的解释，而是从预训练的网络开始，并试图重建产生这些图像的图像。这有助于研究人员确定机器是如何表示各种特征的——就好像他们在询问一个假设的癌症检测神经网络，“您已经确定这个乳房 X 光片的哪个部分是癌症风险的标志物？”
去年，泰卡和谷歌的同事研究人员也采用了类似的方法，得出了最终的结论。他们的算法（他们称之为 Deep Dream）从图像（例如花或海滩）开始，并对其进行修改以增强特定顶层神经元的响应。例如，如果神经元喜欢将图像标记为鸟类，则修改后的图片将开始在各处显示鸟类。最终的图像会让人联想到迷幻药之旅，鸟类从面孔、建筑物和更多事物中出现。“我认为这更像是一种幻觉”而不是梦境，也是一位艺术家的泰卡说。当他和团队看到其他人可以将该算法用于创意目的的潜力时，他们将其提供给任何人下载。几天之内，Deep Dream 在网上引起了轰动。
克伦的团队在 2014 年使用可以最大化任何神经元（而不仅仅是顶层神经元）响应的技术发现，黑匣子问题可能比预期的更糟糕：神经网络很容易被对于人们来说看起来像随机噪声或抽象几何图案的图像所愚弄。例如，一个网络可能会看到波浪线并将它们分类为海星，或者将黑黄条纹误认为是一辆校车。此外，这些模式在针对不同数据集训练的网络中产生了相同的响应。
研究人员已经提出了许多方法来解决这个“欺骗”问题，但到目前为止，还没有出现通用的解决方案。这在现实世界中可能是危险的。克伦说，一个特别可怕的情景是，心怀不轨的黑客可能会学会利用这些弱点。他们可能会让一辆自动驾驶汽车冲向一块它认为是道路的广告牌，或者欺骗视网膜扫描仪，让入侵者进入白宫，以为那个人是巴拉克·奥巴马。“我们必须卷起袖子，进行艰苦的科学研究，使机器学习更加稳健和智能，”克伦总结道。
诸如此类的问题导致一些计算机科学家认为，使用神经网络的深度学习不应该是唯一的选择。英国剑桥大学的机器学习研究员祖宾·加拉马尼说，如果人工智能要给出人类容易理解的答案，“对于深度学习来说，有很多问题根本不是答案”。利普森和当时在纽约伊萨卡的康奈尔大学的计算生物学家迈克尔·施密特在2009年首次推出了一种相对透明且具有科学研究能力的方法。他们的算法被称为 Eureqa，它证明了它可以通过观看一个相对简单的机械物体——一个摆锤系统——的运动来重新发现牛顿物理定律。
从诸如 +、−、正弦和余弦等数学构建模块的随机组合开始，Eureqa 遵循受达尔文进化论启发的试错方法来修改项，直到它得出最能描述数据的公式。然后，它会提出实验来测试其模型。利普森说，它的优点之一是简单。“Eureqa 产生的模型通常有十几个参数。神经网络有数百万个。”
自动驾驶
去年，加拉马尼发布了一种自动化数据科学家工作的算法，从查看原始数据到撰写论文。他的软件名为 Automatic Statistician，可以发现数据集中的趋势和异常情况，并给出结论，包括对其推理的详细解释。加拉马尼说，这种透明度对于科学应用来说是“绝对关键的”，但对于许多商业应用也很重要。例如，他说，在许多国家，拒绝贷款的银行有法律义务说明原因——而深度学习算法可能无法做到这一点。
奥斯陆大数据公司 Arundo Analytics 的数据科学总监埃莉·多布森指出，类似的担忧也适用于许多机构。她说，如果设定英国利率时出现问题，“英格兰银行不能说‘黑盒子让我这么做的’”。
尽管存在这些担忧，计算机科学家们认为，创建透明人工智能的努力应被视为对深度学习的补充，而不是替代。他们说，一些透明的技术可能在已经描述为一组抽象事实的问题上效果很好，但在感知方面——从原始数据中提取事实的过程——效果不太好。
最终，这些研究人员认为，机器学习给出的复杂答案必须成为科学工具包的一部分，因为现实世界是复杂的：对于天气或股市等现象，可能甚至不存在还原论的、综合性的描述。“有些事情我们无法用语言表达，”巴黎综合理工学院的应用数学家斯特凡·马拉特说。“当你问医生为什么诊断这个或这个时，他会给你一些理由，”他说。“但是，为什么需要 20 年才能成为一名好医生？因为信息根本不在书中。”
在巴尔迪看来，科学家应该拥抱深度学习，而不必对黑盒子“过于敏感”。毕竟，他们的大脑中都带着一个黑盒子。“你一直在使用你的大脑；你一直信任你的大脑；而你不知道你的大脑是如何工作的。”
本文经许可转载，于 2016 年 10 月 5 日首次发表。