随着人工智能系统变得普及，其故障带来危险后果的可能性也在增加。例如，麻省理工学院的科学家最近愚弄了一个谷歌训练的人工智能程序，使其将塑料玩具乌龟识别为步枪。如果未来的机器人警察或士兵犯了这样的错误，结果可能是悲剧性的。但是研究人员现在正在开发工具，以找出构成这些系统的数十亿虚拟“脑细胞”中潜在的缺陷。
许多图像识别程序、汽车自动驾驶系统和其他形式的人工智能都使用人工神经网络，其中被称为“神经元”的组件被输入数据并协同工作以解决问题——例如发现道路上的障碍物。网络通过反复调整神经元之间的连接并再次尝试问题来“学习”。随着时间的推移，系统确定哪些神经连接模式最擅长计算解决方案。然后它采用这些作为默认值，模仿人脑的学习方式。
这项技术的一个关键挑战是，开发人员通常不知道网络如何得出其决策。哥伦比亚大学的计算机科学家 Junfeng Yang 说，这可能使得在出现错误时很难弄清楚哪里出了问题，他是去年 10 月在上海举行的一次研讨会上发表的一项新研究的合著者。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
Yang 和他的同事创建了 DeepXplore，这是一个旨在通过逆向工程人工智能系统的学习过程来调试人工智能系统的程序。它使用各种令人困惑的真实世界输入来测试神经网络，并在网络响应错误时告知网络，以便它可以自我纠正。例如，DeepXplore 可以确定输入到汽车驾驶人工智能系统的摄像头图像是否错误地将车辆驶向行人。调试工具还会监控网络中哪些神经元处于活动状态，并单独测试每个神经元。Yang 说，以前的人工智能调试工具无法判断是否已检查过每个神经元的错误。
在对 15 个最先进的神经网络（包括一些用于自动驾驶汽车和计算机恶意软件检测的神经网络）的测试中，DeepXplore 发现了早期技术遗漏的数千个错误。它将人工智能系统的总体准确率平均提高了 1% 到 3%，使一些系统达到了 99%。芝加哥大学的计算机科学家 Shan Lu 说，DeepXplore 的技术可以帮助开发人员构建“更准确、更可靠”的神经网络，他没有参与这项新研究。Lu 补充说，这种方法“反过来可以使许多科学研究学科和我们的日常生活受益。”