杰克·加兰特坐在加州大学伯克利分校实验室里的一把转椅边缘，目光紧盯着一台正在试图解码某人想法的电脑屏幕。
屏幕的左侧是加兰特在脑部扫描期间向研究参与者展示的一段影片片段。屏幕的右侧，计算机程序仅使用扫描的细节来猜测参与者当时正在观看的内容。
在电影《结婚大作战》的一个片段中，安妮·海瑟薇的脸出现了，她正与凯特·哈德森激烈地交谈。算法自信地用大字体标记出“女人”和“交谈”的字样。另一个片段出现——一个野生动物纪录片中的水下场景。该程序难以识别，最终用小而试探性的字体给出了“鲸鱼”和“游泳”的标签。
支持科学新闻报道
如果您喜欢这篇文章，请考虑订阅我们的获奖新闻报道，以此来支持我们。 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
“这是一只海牛，但它不知道那是什么，”加兰特说，他谈论这个程序就像谈论一个不听话的学生。他解释说，他们通过展示一系列图像和影片片段引起的大脑活动模式来训练该程序。他的程序之前遇到过大型水生哺乳动物，但从未遇到过海牛。
世界各地的研究小组正在使用类似的技术来尝试解码脑部扫描，并破译人们看到、听到和感觉到的内容，以及他们记住甚至梦到的内容。
媒体报道表明，此类技术将读心术“从幻想领域变为现实”，并且“可能会影响我们做几乎所有事情的方式”。伦敦的《经济学人》甚至告诫读者“要害怕”，并推测科学家何时会承诺通过脑部扫描进行心灵感应。
《自然》播客：大脑解码从06:21开始
尽管一些公司开始为市场研究和测谎等少数应用而追求大脑解码，但科学家们对使用此过程来了解大脑本身更感兴趣。加兰特的团队和其他人正在试图找出这些不同的大脑模式的根本原因，并希望弄清楚大脑用来理解周围世界的代码和算法。他们希望这些技术能够告诉他们关于大脑组织的基本原则，以及大脑如何编码记忆、行为和情绪（参见“给初学者的解码”）。
将他们的技术应用于图片和电影的编码之外，需要复杂性的巨大飞跃。“我不做视觉，因为它不是大脑中最有趣的部分，”加兰特说。“我这样做是因为它是大脑中最简单的部分。这是我在死之前有望解决的大脑部分。” 但从理论上讲，他说，“你基本上可以用这个做任何事情”。
超越斑点学
大约十年前，当神经科学家意识到他们使用功能性磁共振成像 (fMRI) 产生的脑部扫描中存在大量未开发的信息时，大脑解码技术开始兴起。该技术通过识别正在被供氧血液喂养的区域来测量大脑活动，这些区域在扫描中会以彩色斑点的形式亮起。为了分析活动模式，大脑被分割成称为体素的小盒子——三维等效于像素——研究人员通常会观察哪些体素对刺激（例如看到一张脸）的反应最强烈。通过丢弃来自弱反应体素的数据，他们得出结论，哪些区域正在处理人脸。
解码技术会询问脑部扫描中的更多信息。他们不问哪些大脑区域对人脸的反应最强烈，而是使用强和弱的反应来识别更细微的活动模式。例如，早期的此类研究证明，物体的编码不仅由一个小的非常活跃的区域进行，而是由一个分布更广泛的阵列进行。
这些记录被输入到一个“模式分类器”中，这是一种计算机算法，它可以学习与每张图片或概念相关的模式。一旦程序看到了足够的样本，它就可以开始推断此人正在看或正在思考什么。这超越了对大脑中斑点的映射。进一步关注这些模式，可以将研究人员从提出简单的“大脑中的哪个位置”的问题，转向测试关于心理过程性质的假设——例如，询问多年来一直在争论的记忆的强度和分布。德克萨斯大学奥斯汀分校的 fMRI 专家罗素·波德拉克说，解码技术使研究人员能够测试来自心理学的现有理论，这些理论可以预测人们的大脑如何执行任务。“有很多方法可以超越斑点学，”他说。
在早期研究中，科学家们能够证明，他们可以从这些模式中获得足够的信息来判断某人正在看的物体类别——例如，剪刀、瓶子和鞋子。“我们非常惊讶它能如此有效，”新罕布什尔州达特茅斯学院的吉姆·哈克斯比说，他领导了 2001 年的第一次解码研究。
不久之后，另外两个团队独立地使用它来证实人类大脑组织的基本原则。从对植入猴子和猫大脑的电极进行的研究中得知，许多视觉区域对边缘的方向反应强烈，并将它们组合起来构建世界的图像。在人类大脑中，这些喜欢边缘的区域太小，无法用传统的 fMRI 技术看到。但是，通过将解码方法应用于 fMRI 数据，当时都在伦敦大学学院的约翰-迪伦·海恩斯和杰兰特·里斯，以及日本京都ATR计算神经科学实验室的Yukiyasu Kamitani，与现在在田纳西州纳什维尔范德比尔特大学的弗兰克·童，在 2005 年证明，边缘图片也触发了人类非常具体的活动模式。研究人员向志愿者展示了不同方向的线条——不同的体素镶嵌图告诉团队此人正在看哪个方向。
边缘在 2008 年变成了复杂的图片，当时加兰特的团队开发了一种解码器，可以识别受试者正在观看的 120 张图片中的哪一张——这比推断图像属于哪个通用类别或破译边缘要大得多。然后，他们更进一步，开发了一种解码器，可以根据大脑活动生成参与者正在观看的原始外观的电影。
从 2006 年左右开始，研究人员一直在为各种任务开发解码器：用于视觉意象，参与者在其中想象一个场景；用于工作记忆，他们在其中记住一个事实或数字；以及用于意图，通常测试为加或减两个数字的决定。现在在柏林伯恩斯坦计算神经科学中心的的海恩斯说，最后一个问题比解码视觉系统更难，“意图太多了——我们如何对它们进行分类？” 图片可以按颜色或内容分组，但支配意图的规则不容易建立。
加兰特的实验室初步表明了这项工作将会有多么困难。研究人员使用一款名为反恐精英的第一人称战斗主题视频游戏，试图查看他们是否可以解码向左或向右、追赶敌人或开枪的意图。他们几乎可以解码出四处移动的意图；但 fMRI 数据中的其他一切都被参与者在游戏中被射击或死亡时的情绪信号所淹没。加兰特说，这些信号（尤其是死亡）会覆盖有关意图的任何细微信息。
梦境也是如此。Kamitani 和他的团队今年早些时候在《科学》杂志上发表了他们解码梦境的尝试。他们让参与者在扫描仪中入睡，然后定期叫醒他们，要求他们回忆自己看到的东西。该团队首先尝试重建梦境中实际的视觉信息，但最终求助于词语类别。他们的程序能够以 60% 的准确率预测人们的梦境中出现的物体类别，例如汽车、文字、男人或女人。
Kamitani 说，梦境的主观性使得提取更多信息成为一项挑战。“当我想起我的梦境内容时，我感觉自己看到了什么，”他说。但梦境可能不仅仅涉及大脑的视觉领域，还涉及难以建立可靠模型的区域。
逆向工程
解码技术依赖于大脑活动与外部世界之间可以建立相关性的事实。例如，如果您只想使用来自大脑的信号来控制机器人手臂，那么简单地识别这些相关性就足够了（参见《自然》497, 176–178; 2013）。但加兰特和其他人想做更多的事情；他们希望回溯以找出大脑最初如何组织和存储信息——破解大脑使用的复杂代码。
加兰特说，这并非易事。每个大脑区域都会从其他网络获取信息并将其组合在一起，可能会改变其表示方式。神经科学家必须事后找出在哪些点进行了哪些类型的转换。与其他的工程项目不同，大脑的组合方式不一定符合人类思维和数学模型。 “我们不是在设计大脑——大脑是给我们的，我们必须弄清楚它是如何运作的，”加兰特说。“我们实际上没有任何数学来建模这些类型的系统。” 即使有足够关于每个大脑区域内容的数据，也可能没有现成的方程组来描述它们、它们之间的关系以及它们随时间变化的方式。
英国剑桥MRC认知与脑科学研究中心的计算神经科学家尼古拉斯·克里格斯科特表示，即使是理解视觉信息是如何编码的也很棘手——尽管视觉系统是目前大脑中研究最透彻的部分（见《自然》502, 156–158; 2013）。他说：“视觉是人工智能的难题之一。我们曾认为它比下棋或证明定理更容易。”但是，有很多问题需要解决：例如，成群的神经元如何表示像面孔这样的东西；信息如何在视觉系统中各个区域之间移动；以及代表面孔的神经代码是如何随着这些移动而变化的。从下往上，逐个神经元地构建模型过于复杂，“没有足够的资源或时间以这种方式进行”，克里格斯科特说。因此，他的团队正在将现有的视觉模型与大脑数据进行比较，以找出最合适的模型。
现实世界
设计一个可以在不同大脑之间泛化，甚至在同一大脑的不同时间都能泛化的解码模型，是一个复杂的问题。解码器通常是基于个体大脑构建的，除非它们计算的是一些相对简单的东西，比如二元选择——某人是看图片A还是图片B。但现在有几个小组正在努力构建通用模型。“每个人的大脑都略有不同，” 领导其中一项工作的哈克斯比说。他表示，目前，“你只是无法很好地排列这些活动模式。”
标准化对于许多被谈论的大脑解码应用来说可能是必要的——那些涉及读取某人隐藏的或无意识的想法的应用。尽管这些应用目前还不可能实现，但一些公司已经开始关注。海恩斯说，他最近被汽车公司戴姆勒的一位代表联系，询问是否可以解码测试对象在市场调查中隐藏的消费者偏好。原则上这是可行的，他说，但目前的方法无法确定某人最喜欢30种不同产品中的哪一种。他建议营销人员暂时坚持他们所了解的。“我非常确定，使用传统的市场研究技术，你会做得更好。”
一些希望为执法部门服务的公司也注意到了这一点。例如，加利福尼亚州圣地亚哥的 No Lie MRI 公司正在使用与解码相关的技术，声称可以通过脑部扫描来区分谎言和真相。加州斯坦福大学的法学学者汉克·格里利在《牛津神经伦理学手册》（牛津大学出版社，2011 年）中写道，法律系统可以从更好的测谎方法、检查记忆的可靠性，甚至揭示陪审员和法官的偏见中获益。一些伦理学家认为，隐私法应将个人的内心想法和欲望视为私人信息加以保护，但英国牛津大学的神经伦理学家朱利安·萨武列斯库原则上认为部署解码技术没有问题。“人们对此感到恐惧，但如果以正确的方式使用，它将是巨大的解放。”他说，大脑数据与其他类型的证据没有什么不同。“我不明白为什么我们应该优先考虑人们的想法而不是他们的话语，”他说。
海恩斯一直在进行一项研究，在该研究中，参与者参观了几所虚拟现实房屋，然后在参观另一组房屋时进行脑部扫描。初步结果表明，该团队可以识别出他们的受试者之前去过哪些房子。这意味着这种技术可能揭示嫌疑人是否曾到过犯罪现场。该结果尚未发表，海恩斯很快指出了在执法部门中使用这种技术的局限性。如果一个人曾经在建筑物里，但不记得了呢？或者他们是在犯罪发生前一周去的呢？嫌疑人甚至有可能欺骗扫描仪。“你不知道人们会如何应对反措施，”他说。
其他科学家也驳斥了通过解码可以可靠地揭开被埋藏的记忆的说法。除此之外，你还需要一台重达 15 公吨、价值 300 万美元的 fMRI 机器，以及一个愿意躺在里面一动不动，并积极思考秘密想法的人。即使这样，加兰特说，“仅仅因为信息在某人的脑海中，并不意味着它是准确的。”目前，心理学家有更可靠、更便宜的方法来探究人们的想法。“目前，找出某人将要做什么的最好方法，” 海恩斯说，“就是问他们。”