如何破解智能机器

本周，微软和阿里巴巴引发了新的担忧，即机器人很快将取代我们的工作。这两家公司分别透露，他们的人工智能系统在阅读理解测试中击败了人类。这项测试，被称为斯坦福问答数据集 (SQuAD)，旨在训练人工智能回答关于一组维基百科文章的问题。

与已部署在商业照片应用程序中的图像识别软件一样，这些系统给人一种印象，即机器已经越来越能够复制人类的认知：识别图像或声音，以及现在快速阅读文本段落并以人类水平的准确性吐出答案。

然而，机器的智能并不总是像看起来那样。开发深度学习网络和其他人工智能系统的技术专家们正在深入研究，看看机器是否真的知道任何东西，从而发现他们的创造是多么脆弱。对软件进行压力测试——例如，在将其加载到自动驾驶汽车之前——对于避免可能导致灾难性事故的错误至关重要。“在某些领域，神经网络实际上是超人般的，比如它们正在超越人类的表现，”麻省理工学院研究生、人工智能研究员阿尼什·阿塔莱说，“但它们有一个奇怪的特性，似乎我们可以很容易地欺骗它们。”

支持科学新闻

如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保未来能够继续报道关于塑造我们当今世界的发现和想法的重要故事。

阿塔莱和麻省理工学院其他学生的两篇预印本文章，统称为LabSix，证明他们可以使一个深度学习系统——一个经过数千个例子训练以识别物体的系统——认为滑雪者的照片是狗 (pdf)，而乌龟是步枪 (pdf)。谷歌大脑团队（该公司的人工智能研究部门）12月发表的一篇论文使用了一种不同的方法来欺骗系统，使其将香蕉归类为烤面包机。

在LabSix的方法中，一个算法稍微修改图像中每个像素的颜色或亮度。尽管对于你或我来说，这张照片看起来是一样的，但这些细微的变化会导致系统将其解释为完全不同的东西。阿塔莱说，伪装图像修改“使其更贴近现实世界的攻击”。“如果你看到有人在现实世界中竖起一个看起来很迷幻的路标，人们可能会想，‘哦，这里有些蹊跷’，并且会进行调查。但是，如果你看到一个在你看来像限速标志的东西，但你的自动驾驶汽车认为它是完全不同的东西，那将是一个可怕得多的场景。”

对于烤面包机，谷歌大脑采取了不同的策略。他们没有单独更改图像，而是希望开发一种可以放置在任何场景中的技术箔片。这意味着创建一个新的独特图像——对抗性补丁——来迷惑深度学习系统，并使其无法专注于其他项目。烤面包机补丁不需要融入其中，而是需要突出出来。“鉴于补丁只能控制其所在小圆圈内的像素，事实证明，补丁欺骗分类器的最佳方式是变得非常突出，”谷歌员工汤姆·布朗在一封电子邮件中写道。“传统的对抗性攻击是通过少量更改单个图像中的所有像素。对于对抗性补丁，我们通过大量更改少量像素。”

为了在实验室外工作，该补丁还必须能够抵抗现实世界中的视觉噪声。在早期的研究中，仅仅改变被篡改图像的方向或亮度就可能击败对抗性技术。一张正面观看的被篡改的猫的照片被归类为鳄梨酱，但将猫侧过来，系统又知道它在看一只猫了。相比之下，烤面包机补丁可以以任何光照或方向呈现，并且仍然可以破坏系统。“这更难开发，因为它意味着在各种模拟场景中训练补丁，以便我们可以找到一个在所有场景中都成功的单个补丁，”布朗写道。

尽管这些例子很愚蠢，但潜在的现实世界影响却非常严重。阿塔莱推测，对抗性攻击可能会欺骗自动驾驶汽车，使其忽略停车标志。或者，它可能会在机场行李安检期间伪装炸弹的X光图像。阿塔莱和布朗的研究目标是帮助在技术部署之前识别其弱点。

纽约大学心理学教授加里·马库斯认为，人工智能之所以容易受到这种方式的欺骗，是因为“机器不理解整个场景，”他告诉我。人工智能可以识别物体，但它无法理解物体是什么或它的用途。它不是“真正理解事物之间的因果关系，真正理解谁在对谁做什么以及为什么”。

在关于人工智能系统在阅读理解测试中取得优异成绩的头条新闻之后，马库斯贬低了这些结果，称机器所做的事情与真正的理解无关。马库斯在推特上写道：“SQuAD测试表明，机器可以突出显示文本中的相关段落，而不是它们理解这些段落。”

马库斯认为，与其在成千上万个例子上训练人工智能系统，该领域应该从认知心理学中汲取灵感，开发出具有更深层次理解的软件。虽然深度学习可以从它从未见过的图像中识别出狗，甚至对其品种进行分类，但它不知道应该是人遛狗，而不是狗遛人。它不理解狗真正是什么以及它应该如何与世界互动。“我们需要一种不同类型的人工智能架构，它关注的是解释，而不仅仅是模式识别，”马库斯说。

在它能够做到这一点之前，我们的工作是安全的——至少暂时是这样。