到2023年7月,当时45岁的凯西·哈雷尔已经失去了与他当时四岁的女儿说话的能力。神经退行性疾病肌萎缩侧索硬化症(ALS)在他症状开始后的五年里逐渐麻痹了他。随着影响蔓延到嘴唇、舌头和下巴,他的言语退化为女儿无法理解的模糊声音。
但在七月进行的手术,将四个3x3毫米的电极阵列植入哈雷尔大脑一个月后,他突然能够告诉他的小女儿任何他想说的话。电极拾取了负责清晰表达词语声音或音素的神经元活动,而新型脑机接口(BCI)的其他部分将这些活动转化为清晰的合成语音。
“她大约两年没有能力与我进行太多交流。现在情况非常不同了,”哈雷尔在手术一年后通过该设备说道。“我可以帮助她的母亲抚养她。我可以与她建立更深的关系,并告诉她我在想什么。”
支持科学新闻报道
如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关塑造我们今天世界的发现和想法的具有影响力的故事的未来。
他的脸因激动而扭曲,停顿片刻后,他补充道:“我可以简单地告诉她我有多爱她。”
加州大学戴维斯分校的神经科学家谢尔盖·斯塔维斯基和神经外科医生大卫·布兰德曼及其团队于8月14日在《新英格兰医学杂志》上描述了新的BCI。哈雷尔并不是第一个通过思想与人交谈的瘫痪患者。但他的BCI比一年前宣布的类似设备更易于使用且错误率低得多。改进如此之大,以至于哈雷尔可以经常使用新的BCI与同事、朋友和家人聊天。
“这标志着语音BCI领域的一个里程碑,”荷兰马斯特里赫特大学的计算神经科学家克里斯蒂安·赫夫说,他没有参与这项研究。“它已经达到了患者可以实际使用的质量水平。”该设备预测错误单词的概率不到3%,错误率与非残疾人士朗读段落的错误率相当。“我们基本上可以称之为完美,”赫夫说。
该系统还在数小时的使用过程中保持其性能。“我们进行了大量的工程设计、大量的测试和许多小创新,以使该系统能够全天可靠地工作,”该研究的主要作者,斯塔维斯基和布兰德曼实验室的博士后研究员尼古拉斯·卡德说。哈雷尔估计他每周使用BCI 70小时。“我就是他们所说的重度用户,”他说。
哈雷尔也是迄今为止唯一的用户。但这项实验的成功为更广泛地使用神经假体治疗由瘫痪引起的言语障碍打开了大门,加州大学旧金山分校的神经外科医生爱德华·张说,他是言语神经假体领域的先驱,但没有参与这项新工作。“这是朝着使之成为临床现实迈出的重要一步,”他补充道,这个目标在五到十年前似乎还是科幻小说。
在语音BCI成为现实的医疗选择方面,仍然存在重大的实际障碍。关于植入物的长期可行性以及结果在瘫痪程度更严重的人身上转化效果如何,仍然存在疑问。然而,从哈雷尔的角度来看,支持更广泛使用的好处绰绰有余。当被问及这项技术如何使他受益时,他露出顽皮的笑容,并俏皮地说:“你想听多久?”
哈雷尔的BCI是由一个名为BrainGate的联盟进行的大型持续临床试验的一部分。自2004年以来,试验中的个体已经逐一测试了该技术的最新迭代,该技术广泛旨在恢复或替代因事故、中风或肌萎缩侧索硬化症等疾病而瘫痪的人的丧失功能——打字或用杯子喝水的能力。
参与者的大脑外层嵌入了像哈雷尔这样的芯片。试验中使用的芯片类型称为犹他阵列,它直接与脑组织连接,并读取单个神经元或小群神经元的信号——通常是运动皮层中的神经元,运动皮层是大脑中指挥身体运动的部分。机器学习算法分析信号,并将它们转化为光标或机械臂的运动。基本设置对于所有BCI都是通用的。例如,在另一项试验中,一位植入这种芯片的男子在2016年用他的思想移动机械臂与时任美国总统巴拉克·奥巴马握手。
埃隆·马斯克创立的著名公司Neuralink,发明了一种脑芯片,拥有1,024个电极,而犹他阵列最多约有100个电极(哈雷尔的芯片为64个)。Neuralink芯片也类似地与单个神经元接触,尽管其更多的电极可能为解码器提供更丰富的输入。一位名叫诺兰·阿巴夫的男子,他的四肢在游泳事故中瘫痪,一直在使用该芯片通过大脑信号编写电子邮件、上网和玩视频游戏,尽管该设备不产生语音。(阿巴夫可以说话。)
第一个在言语麻痹患者身上工作的脑语解码器于2021年出现,提供50个单词的词汇量。然后在2023年8月,一位患有肌萎缩侧索硬化症的女性,她的言语像哈雷尔一样变得难以理解,使用BCI获得了125,000个单词的词汇量,该BCI记录了犹他阵列的大脑活动,作为BrainGate试验的一部分。哈雷尔的BCI提供了类似的词汇量,是受过大学教育的成年人平均词汇量的两倍多。使用张的团队开发的另一种系统,一位因中风而严重瘫痪的女性可以指挥一个虚拟化身说出她的话。她的设备也于2023年8月首次亮相,拥有潜在的30,000个术语。
然而,去年描述的两种言语神经假体的错误率约为25%,这限制了它们的实用性。“当你每四个单词中就错一个时,一个句子很快就会变得难以理解,”卡德说。
哈雷尔的设备可能更准确的一个原因是它有更多的电极。它从四个电极阵列中提取信息,总共产生256个电极。这比2023年描述的患有肌萎缩侧索硬化症的女性使用的言语BCI中的电极数量多一倍,后者采用了相同的芯片技术。机器学习的进步也发挥了作用。用于翻译哈雷尔言语的算法不断校准,因此解码器的性能不会在一天的过程中下降。“BCI普遍存在的一个巨大挑战是,我们记录的信号可能会在几分钟到几小时的量级上发生变化,”匹兹堡大学的神经工程师和副教授詹妮弗·科林格说,她没有参与这项新研究。她说,能够更新系统以应对这些不稳定性是“一个非常重要的设计优先事项”。
开发哈雷尔BCI的团队的另一个优先事项是设计一种能够让新用户快速适应的系统。“你必须迅速行动才能帮助这些人,”布兰德曼说。为了加快植入后的速度,研究人员在生物学上合理的计算机模型上测试了他们的解码器,该模型模拟了大脑如何编码言语,分解为构成频率。因此,当团队第一次打开BCI时,它在半小时内开始翻译哈雷尔的言语。“该系统从第一天起就有效,”科林格说。
哈雷尔用该设备表达的单词在说出来之前会显示在屏幕上。当哈雷尔第一次看到他想说的单词出现时,他和他的家人都喜极而泣。在测试的第二天,哈雷尔对他的女儿说话,他的女儿碰巧穿着猎豹服装。“我在找一只猎豹,”她的父亲告诉她。
为了使用BCI,哈雷尔不仅仅是思考他想说什么。他试图在脑海中形成单词,这种尝试的运动激活了阵列,阵列从他运动皮层中指挥嘴部和下巴肌肉的部分读取信号。(哈雷尔在操作设备时,嘴唇往往会动。)来自阵列的输出被发送到解码软件,解码软件将它们与音素匹配,将音素序列组合成单词,并由此构建句子。
在他第一次使用该系统后的几个月里,哈雷尔每天都使用它说话,既重复研究人员给他的句子,也自发地说话。在测试的第二天,哈雷尔可用的词汇量扩展到125,000个单词,从那时起,系统的准确性得到了提高。此外,合成声音被制成与哈雷尔患病前的声音相匹配。现在哈雷尔说话时,听起来就像他自己。
哈雷尔在患病五年多后仍在担任环境活动家。他说BCI是其中一个原因。它比他以前使用的交流方法快很多倍,以前的交流方法包括头部控制鼠标和可以解释他的发声的人的帮助。“参与者实际上是在家里使用它进行交流,”荷兰乌得勒支大学医学中心的认知神经科学家尼克·拉姆齐说,他没有参与这项研究。“对于语音解码,以前从未展示过这一点。”
哈雷尔对他的设备非常满意,以至于他渴望其他人也能拥有一个。“我希望现在正在受苦的人们现在可以选择拥有这项技术,因为我认为它现在已经足够好了,”他说。“如果它足够好到我们可以不用任何更多帮助就进行这次对话,我认为它可以帮助今天的人们。”
然而,这个目标存在障碍。与Neuralink BCI不同,加州大学戴维斯分校的技术不是无线的。哈雷尔头部的两个端口伸出电缆,将来自他大脑阵列的数据传输到推车上的四台计算机——这也使得该系统远非便携式。而且这些端口需要小心护理,因为它们可能是感染的潜在部位。目前,每个BCI接受者还需要相当数量的工作人员,包括一位知道如何插入阵列的神经外科医生。
另一个问题是哈雷尔的系统是否适用于言语麻痹程度更严重或并非由肌萎缩侧索硬化症引起的人。哈雷尔仍然有一些移动嘴巴和发出声音的能力。“某人有多少残留功能可能对这个功能非常重要,”张说。“你不能必然将此推断到所有瘫痪的人,特别是那些瘫痪更严重的人。”
BCI研究人员之间还存在关于用于检测大脑信号的电极阵列技术的争论。有些人对嵌入脑组织的阵列持谨慎态度。大脑通常会对异物做出反应,在其周围形成疤痕组织,从而降低信号质量——并且阵列的某些部分也可能随着时间的推移而退化。“大脑不喜欢针扎进去,”拉姆齐说。在某些人身上,犹他阵列已经持续了六年之久,但在另一些人身上,它们的输出衰减得更快,更换它们是有风险的。“想象一下,你放置了其中一个,六个月后,它就不好用了,”张警告说。
对于他的团队的语音BCI,张使用了侵入性较低的技术:称为皮层脑电图(ECoG)阵列的小圆盘,它们位于大脑表面,而不会穿透组织。与犹他阵列不同,ECoG阵列不读取来自单个神经元的信号,而是检测反映数千个脑细胞输出的模糊模式。不太精确的输入被认为限制了它们的能力,但它们使张的实验能够解码语音。它们最近也被用于BCI,该BCI恢复了一位瘫痪男子的行走能力。
在《新英格兰医学杂志》同一期的另一篇论文中,拉姆齐和他的同事报告说,植入一位几乎完全瘫痪的肌萎缩侧索硬化症女性体内的小型ECoG阵列工作了七年以上,使她能够点击计算机上的菜单、打开电视和呼叫护理人员。在最后的四年里,她完全依靠该设备进行交流,直到她的病情导致的脑组织损失使她无法控制BCI。“这表明,使用不同类型的电极,你可以拥有一个持续工作多年的系统,”拉姆齐说。
在使用一年后,哈雷尔的性能也没有出现下降。加州大学戴维斯分校的团队计划在未来几个月到几年内将该阵列植入更多参与者体内。与此同时,研究人员正在为哈雷尔的设备添加花哨的功能,例如韵律——音调和节奏的变化——以及唱歌的能力。
哈雷尔已经拥有的一项功能是能够将文本发送到他的计算机以编写电子邮件,包括他发送给本文作者的一些电子邮件。这种交流表面上是平淡无奇的。他介绍了自己,建议了采访时间,并表达了对这项技术的热情。然而,他的签名表明,这些信息绝非寻常。上面写着“Sent from my 🧠。”(来自我的🧠发送)