大脑黑客软件可以解码你的知识和梦想

新技术正在从我们的大脑中提取详细数据,揭示我们所知、所见或所梦。一些信号甚至可以驾驶飞机

一位飞行员坐在钻石 DA42 轻型飞机的驾驶舱中,在脑海中演练安全降落在前方跑道上所需的步骤。片刻之后,他着陆了,没有碰过控制装置或踩过飞机的脚蹬。他不是普通的飞行员——事实上,他根本不是飞行员,但他刚刚使用脑电波降落了他的飞机。

在今年早些时候进行的一系列实验中,七位具有不同驾驶舱经验(包括零经验)的人成功地驾驶并降落了一架模拟 DA42。这些飞行员没有通过数小时的训练和驾驶舱经验来培养正常的手脚协调能力,而是依靠一个装有电极的帽子来收集他们的神经冲动,以及将神经冲动转换为虚拟双引擎飞机指令的飞行控制算法。

这项实验由德国慕尼黑工业大学的航空航天工程师蒂姆·弗里克领导,它正在推动脑电图和其他扫描技术检测、解码和利用大脑神经冲动能力的极限。曾经,脑电图仅仅测量头皮表面检测到的大脑电信号,而最新的脑电图耳机和计算机算法可以将神经元信号转化为控制各种机械装置(包括轮椅、假肢以及现在的飞行模拟器)的具体动作。这些设备有望将人类的表现提升到新的水平。


支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保关于塑造我们当今世界的发现和想法的具有影响力的故事的未来。


例如,一些与脑电图连接的飞行员在浓密的数字雾中降落了他们的模拟飞机。测试对象保持在航线上,其准确度足以部分满足飞行员执照的要求。

其他大脑解码项目依赖于不同的技术,即磁共振成像。研究人员已经使用磁共振成像技术重建了人所看到的面孔图像,并探测了睡眠者梦境的内容。尽管脑电图在以毫秒级的精度检测大脑信号的 timing 方面表现出色,但在辨别信号来源方面却有所不足。另一方面,功能性磁共振成像系统通过记录大脑血流中相对缓慢的变化来精确定位神经活动的位置。通过结合这些系统(正如科学家们现在开始做的那样),我们可以更好地理解当我们处理图像、存储记忆或做出快速决定(例如挥棒击打快速球)时,我们的大脑中发生了什么。

脑飞行

在典型的脑电图设置中,科学家们在人头骨的不同位置放置数十到数百个小型电极。这些电极拾取以不同频率穿过我们头部的电信号,这些信号是大脑细胞之间进行通信时产生的。与所有大脑扫描技术一样,脑电图依赖于软件来解释脑电波。并非所有大脑的行为都相同,因此软件必须处理大量的神经数据,然后才能识别大脑活动中的模式,这一过程称为机器学习。一旦系统掌握了特定人员的神经模式,它就可以将这些模式转换为有用的控制命令——例如,使虚拟飞机向左或向右转,或者移动电脑鼠标。随着这些算法解释神经信号的能力不断提高,科学家们可以以新的方式运用脑电波。

德国研究人员于 2014 年 1 月开始了他们的模拟飞行幻想。这项实验于去年秋天发布,是名为“脑飞行”的欧洲项目的一部分,该项目的目标是确定神经科学和神经工程学是否能够提供仅由人脑发出的信号驱动的飞机。这个极端的目的是为了实现一些更实际的目标:通过使用脑机接口 (BCI) 取代数十个按钮和操纵杆来简化驾驶舱仪表;减少培训飞行员所需的时间和成本;并为身体残疾人士开辟成为飞行员的职业道路。

在虚拟飞行过程中,模拟器会定期指示测试飞行员在脑海中引导飞机朝向给定的航向,就像真正的飞行员在前往目的地的途中必须反复进行航向修正一样。脑电图装置在不到一秒的时间内确定了每位飞行员想要做什么,并将这些指令发送到飞行控制系统。“我们希望通过使用 BCI,有一天飞行可以像解放双手的骑自行车一样,你仍然需要专注于你想去哪里[以及]周围的交通,而不是控制你的车辆,”弗里克补充道。

此类飞行模拟促进了 BCI 的发展,BCI 使大脑能够仅通过思维与外部设备进行通信。大多数耳机仅与其主机计算机间歇性地通信。然而,这种 BCI 会持续将有关每位飞行员神经活动的信息发送到模拟器,从而使导航员能够更好地控制他们的虚拟飞行。随着软件的改进,基于大脑的对任何复杂机械(包括汽车)的指挥成为可能。

解锁

神经航空飞行员展示了脑电图提取简单运动指令的能力,而其他脑电图装置可以从人的头脑中找出令人惊讶的特定信息。在 2012 年发表的一项实验中,当时在加州大学伯克利分校的计算机科学家伊万·马蒂诺维奇和他的同事要求 30 位健康个体佩戴脑电图耳机,并观看屏幕,研究人员在屏幕上随机闪烁 ATM 机、借记卡、地图、人物和数字 0 到 9 的图像。然后,研究人员研究了脑电图数据中神经活动的高峰。这种上升表明这个人可能熟悉特定的数字或图像。软件试图从这些高峰中提取个人信息,例如个人的 ATM PIN 码、出生月份、银行位置以及他或她使用的借记卡类型。这些预测的准确性各不相同——在 PIN 码、借记卡类型和银行位置的情况下,在第一次猜测时找到了正确的答案,概率为 20% 到 30%。该软件猜对了近 60% 参与者的出生月份。

这些实验的目的是研究 BCI 可能被恶意使用的情况,但这项工作也突出了该技术从无法以其他方式交流的人们那里提取信息的潜力。医学研究人员已经使用 BCI 来帮助那些被禁锢的人——由于全身瘫痪而无法移动或说话的人。过去,这项技术已经能够从这些人那里收集到简单的“是”或“否”答案。日内瓦大学的研究作者和认知神经科学家托马斯·罗斯说,新的脑电图算法可能很快就能让他们传达简单的请求、需求或其他信息。

尽管该研究中使用的算法需要被监测大脑的人的同意,但可能在用户不知情的情况下提取更粗略类型的信息。在 2013 年发表的一项研究中,加州大学伯克利分校的安全分析师马里奥·弗兰克和他的同事向参与者短暂地闪烁面孔图像,以至于观看者无法有意识地处理它们。尽管如此,该软件仍可以 66% 的时间确定个体是否认出了图像中的人。

尽管这些发现可能会引发暗中监视人们内心生活的幽灵,但它们也可以转化为对患有认知或情绪障碍的个体有用的监测工具。例如,移动式脑电图耳机可以检测到阿尔茨海默病患者的困惑,并向类似于谷歌眼镜的头戴式显示器发送信号。显示器将以与用户正在观看的内容相关的图像或信息做出响应。罗斯建议,对于受损程度较轻的个体,此类设备可能会检测到舌尖现象,并提供缺失的信息。

面部重建

脑电图电极检测到的信号仅粗略地代表了大脑的内部运作。首先,头骨会阻挡一部分电能到达头皮电极。此外,信号过于分散,无法追溯到其来源。为了定位大脑活动,科学家们依赖于功能性磁共振成像。当神经元活跃时,它们需要氧气,而氧气是从血液中提取的。结果是局部血氧水平发生变化,功能性磁共振成像机器可以检测到这种变化。

科学家们已经转向功能性磁共振成像,将其作为研究大脑如何处理语言、学习和记忆等功能的工具。然而,这项技术开始从大脑中提取越来越详细的数据形式。在最新的进展之一中,科学家们使用从接受功能性磁共振成像扫描的人们那里记录的大脑活动,首次准确地重建了人所看到的面孔图片。

今年早些时候,耶鲁大学的认知神经科学家马文·春和他的同事向六个人展示了 300 张不同的面孔图片,同时捕捉了观看者的大脑活动。研究人员的机器学习算法将面孔整体及其个体特征与血氧水平模式相关联。然后,他们向这些参与者展示了 30 张新面孔。该软件将新面孔引起的大脑活动与原始测试期间创建的神经反应目录进行匹配。仅使用神经活动,该软件就重新创建了该个体所看到的脸孔。研究人员在 7 月份的《神经影像》杂志上写道,结果是“惊人准确的神经重建”。

这些重建并非依赖于大脑枕叶皮层的活动(枕叶皮层在处理图像中起着核心作用),而是基于更分散的神经活动模式,其中大部分活动发生在高级大脑区域,这些区域通过物体的总体属性来识别和表征物体。科学家们正在寻找图像的更抽象的表示,而不是轮廓和阴影等视觉线索。研究人员接下来希望研究记忆、情感和社会判断(其他大脑区域的领域)如何与视觉互动,以更好地理解我们如何感知面孔和物体。

科学家们还使用功能性磁共振成像和模式识别软件来解码人们梦境的一些内容。在日本 ATR 计算神经科学实验室的神经科学家神谷之康及其同事于 2013 年发表的工作中,他们要求三名男性观看不同类别的物体——例如人、单词或书籍——同时使用功能性磁共振成像扫描他们的大脑。然后,这些男性还佩戴了脑电图耳机,并被要求在扫描仪中睡觉,每次持续约三个半小时,持续 7 到 10 天。研究人员每小时最多唤醒志愿者 10 次,并询问他们在梦中看到了什么。软件检测到做梦期间收集的大脑活动模式与分配给适当对象类别的模式之间存在密切匹配,至少在 60% 的时间内是这样。

训练软件识别更多种类的类别——包括动作和情绪——可能会揭示有关人们梦境的更细致的信息。然后,这些发现可以为睡眠和做梦如何影响记忆和情绪提供线索。

用于详细解构图像的计算机技术(无论是在梦中还是在清醒时)具有非常广泛的应用。“提高我们解码大脑活动并将其与行为联系起来的能力是认知神经科学的根本目标,”春说,“它是各种临床应用(诊断、预测和治疗)和实际应用(包括脑机接口)的基础。”

神经侦察

功能性磁共振成像虽然功能强大,但也存在局限性。价值数百万美元的磁共振成像机器重达数吨,并且要求受试者静静地躺在狭窄的孔洞中,同时嘈杂的磁铁进行工作——这很难适应日常情况。该技术还相对缓慢地拾取神经活动,以秒或分钟为单位。因此,功能性磁共振成像无法揭示不同大脑区域响应刺激而活跃起来的顺序。相比之下,脑电图可以在毫秒内检测到变化,这更接近神经变化本身的速度。

由于这些技术是互补的,因此将功能性磁共振成像与脑电图相结合,对于揭示各种认知和情感过程的线索具有巨大的前景。例如,为了解码我们的大脑如何重新定向我们的注意力,这些扫描技术可以比较我们在警觉时刻亮起的大脑区域与我们注意力游移时的激活模式。“我们或许能够创建这样的系统:如果我们跟踪这些状态,我们就知道何时向某人提供重要信息,”哥伦比亚大学的生物医学工程师保罗·萨伊达说。例如,这样的系统可能会在注意力不集中的驾驶员接近十字路口时发出警告。

但这种组合策略的首批应用之一是棒球。萨伊达和他的同事们在过去的几年里一直在实时结合脑电图和功能性磁共振成像,以研究棒球运动员识别球种并决定是否挥棒的速度有多快。2012 年,哥伦比亚大学博士后研究员杰森·舍温和研究生乔丹·穆拉斯金开发了一个计算机程序,该程序从捕手的角度模拟投球。他们让参与者躺在功能性磁共振成像扫描仪中,戴着一个 43 电极脑电图耳机,同时观看模拟的来球——一个点,它随着移动而扩大,以营造球以每小时 80 英里以上的速度接近的印象。最初,他们测试了非运动员,要求他们在看到的球与他们被告知要寻找的球(快速球或滑球,滑球是曲线球)相符时按下按钮。

后来,他们用哥伦比亚大学棒球队的队员进行了实验,穆拉斯金说,与非运动员相比,队员们在某些表明专业知识的大脑区域表现出更强的激活。研究人员将在即将发表的论文中揭示球员和非球员之间反应时间和大脑活动位置的精确差异,这可以通过绘制与专家相比不活跃的大脑区域来帮助表现不佳的人。通过特定的练习刺激这些区域可以帮助落后者提高他们的球种识别能力和反应时间。

脑电图数据还可以量化反应时间的变化,以便运动员可以跟踪不同的训练方法的效果如何。研究人员成立了一家初创公司 NeuroScout,以向运动队推销他们的分析结果。

通用解码器

到目前为止,能够解释大脑信号的算法必须经过训练才能识别每个人的特质,这个过程可能需要几分钟到几小时,具体取决于任务。毕竟,即使是对相同刺激的反应,每个人的大脑和思维模式都是独一无二的。“如果你很好地绘制了一个人的大脑图谱,你就可以为这个人构建一个非常好的大脑解码设备,”加州大学伯克利分校的心理学家杰克·加兰特说。“如果你在其他人身上尝试,那个人的大脑是不同的,”所以它不会很好地工作,甚至根本无法工作。

研究人员希望创建更通用的算法——这些算法在使用和用户之间几乎不需要或根本不需要调整。这种通用大脑解码器将大大减少实验中的训练时间,从而加快在各种情况下了解大量人群的神经活动的努力。更强大的软件也很可能导致更可靠的脑电图控制设备。

大多数神经科学家都认为,有效的通用解码器还需要数年时间才能问世。Emotiv 和 NeuroSky 等公司生产带有少量电极的消费级 BCI 游戏耳机和生物传感器,这些耳机和生物传感器可以在用户之间共享,并且不需要很长时间进行校准。它们仅检测最强的信号,因此功能有限。另一个基本通用解码器的例子在纽约市时代广场探索中心展出,展期至 2015 年 1 月 4 日,漫威复仇者联盟 S.T.A.T.I.O.N. 展览让粉丝能够体验类似于钢铁侠的互动式抬头显示器。当参观者将额头按在显示器上时,一个三电极无线脑电图传感器会激活显示器。该传感器还可以帮助用户导航显示器以观看视频剪辑、玩游戏并实时查看他们的脑电波,尽管眼动追踪传感器和软件也辅助导航。该系统的构建具有冗余性,以确保它能够为参观展览的大量人群可靠地工作。

钢铁侠复杂的免提飞行控制系统目前可能还遥不可及,但弗里克和他的同事们在让他们的系统起飞方面取得了进展。德国研究人员表示,他们正在减少模拟器软件所需的训练量——这是解锁我们耳朵之间的黑匣子并将它的力量扩展到身体之外的一大步。

延伸阅读

关于使用脑机接口进行侧信道攻击的可行性。 伊万·马蒂诺维奇等人在第 21 届 USENIX 安全研讨会论文集,第 143-158 页;2012 年 8 月。

睡眠期间视觉意象的神经解码。 T. 堀川等人在科学,第 40 卷,第 639-642 页;2013 年 5 月 3 日。

读心术技术加速发展。 凯瑞·史密斯和自然。在线发表于 2013 年 10 月 23 日。www.scientificamerican.com/article/mind-reading-technology-speeds-ahead

感知的神经肖像:从诱发的大脑活动重建面部图像。 艾伦·S·考恩、马文·M·春和布莱斯·A·库尔在神经影像,第 94 卷,第 12-22 页;2014 年 7 月 1 日。

来自我们的档案

大声思考 尼古拉·诺伊曼和尼尔斯·比尔鲍默;2004 年 12 月。

争夺血液 伊丽莎白·M·C·希尔曼;2014 年 7/8 月。

拉里·格林迈尔大众科学的技术副编辑,报道各种技术相关主题,包括生物技术、计算机、军事技术、纳米技术和机器人。

更多作者拉里·格林迈尔的文章
SA Mind 第 25 卷第 6 期本文最初以“解码大脑”为标题发表于 SA Mind 第 25 卷第 6 期 (), 第 40 页
doi:10.1038/scientificamericanmind1114-40
© . All rights reserved.