科学家朝着解码大脑语音迈进了一步

新研究更接近于为无法说话的人恢复自然交流

研究人员正在使用类似于图中所示的颅内电极阵列解码与言语相关的大脑活动。

中风、肌萎缩侧索硬化症和其他疾病会剥夺人们说话的能力。他们的交流速度仅限于用眼睛移动光标的速度(每分钟仅 8 到 10 个单词),而自然的语速为每分钟 120 到 150 个单词。现在,尽管离恢复自然语言还有很长的路要走,但加州大学旧金山分校的研究人员已经从没有语言障碍的人的思想中生成了可理解的句子。

加州大学旧金山分校的神经外科医生、四月份发表在《自然》杂志上的这项研究的共同作者爱德华·张在新闻发布会上说,这项工作提供了一个原理证明,有一天应该有可能将想象中的词语转化为可理解的实时语音,绕过发声器官。“我们中很少有人真正了解我们说话时嘴里发生了什么,”他说。“大脑将你想要说的话的想法转化为声道运动,而这正是我们想要解码的。”

但张警告说,这项技术仅在具有典型语言能力的人身上进行了测试,可能更难以在那些无法说话的人身上发挥作用,尤其是在那些因脑瘫等运动障碍而从未能够说话的人身上。


支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道: 订阅。通过购买订阅,您正在帮助确保有关当今塑造我们世界的发现和想法的具有影响力的故事的未来。


研究参与者神经语言中心电极放置的示意图,从中记录的言语期间的活动模式(彩色点)被转化为参与者声道的计算机模拟(模型,右),然后可以合成以重建已说出的句子(声波和句子,下方)。图片来源:张实验室和加州大学旧金山分校神经外科系

张还强调,他的方法不能用于读懂别人的心思——只能将人们想要说的话翻译成可听见的声音。“其他研究人员 已经尝试研究是否有可能基本上只解码思想,”他说。“事实证明,这是一个非常困难和具有挑战性的问题。这只是我们专注于人们想要说什么的众多原因之一。”

张和他的同事设计了一种将思想转化为语言的两步法。首先,在对癫痫患者进行的测试中,这些患者的大脑活动通过大脑表面的电极进行测量,研究人员记录了来自控制舌头、嘴唇和喉咙肌肉的大脑区域的信号。后来,使用在自然口语单词上训练的深度学习计算机算法,他们将这些运动翻译成可听的句子。

加州大学旧金山分校的共同作者戈帕拉·阿努曼奇帕利说,在这一点上,解码系统必须在每个人的大脑上进行训练,但声音的翻译可以在人与人之间推广。“神经活动在不同受试者之间不是一对一可转移的,但底层的表示是可共享的,而这正是我们的论文所探讨的内容,”他说。

研究人员要求亚马逊 Mechanical Turk 众包市场的母语为英语的人转录他们听到的句子。研究发现,当给定一组 25 个可能的单词供选择时,听众准确听到了 43% 的句子,当给定 50 个单词时,听众准确听到了 21% 的句子。

研究人员表示,尽管准确率仍然很低,但对于“闭锁”的人来说,这已经足够产生有意义的改变,“闭锁”的人几乎完全瘫痪且无法说话。西北大学范伯格医学院的神经学家和神经工程师马克·斯卢茨基说:“对于一个被闭锁且完全无法交流的人来说,一些小错误是可以接受的。”他发表过相关研究,但没有参与这项新研究。“即使是几百个单词也会是一个巨大的进步,”他说。“显然,你会希望能够说出你想要说的任何单词,但这仍然比必须一次一个字母地打字要好得多,而这是[当前]最先进的技术。”

即使志愿者没有完全准确地听到句子,这些短语的含义也常常与那些默默说出的短语相似。例如,加州大学旧金山分校的另一位研究合著者乔什·查蒂尔在新闻发布会上说,“兔子”被听到为“啮齿动物”。查蒂尔补充说,像“ship”中的“sh”这样的声音解码得特别好,而像“the”中的“th”这样的声音则特别具有挑战性。

美国和其他地方的几个其他研究小组也在解码语音方面取得了重大进展,但斯卢茨基和其他未参与这项工作的科学家表示,这项新研究标志着首次正确解读完整句子。

马萨诸塞州总医院的神经学家、布朗大学和普罗维登斯退伍军人医疗中心的神经科学家利·霍赫伯格说:“我认为这篇论文是思考如何利用生物学和机器学习的力量的一个例子。”霍赫伯格没有参与这项工作。

这项研究在该领域引起了轰动,但研究人员表示,这项技术尚未准备好进行临床试验。斯坦福大学神经外科教授杰米·亨德森没有参与这项新研究,他说:“在未来 10 年内,我认为我们将看到能够提高人们交流能力的系统。”他说,剩下的挑战包括确定使用更精细的大脑活动分析是否会改善语音解码;开发一种可以植入大脑并在实时解码语音的设备;以及将益处扩展到根本无法说话的人(他们的大脑尚未被启动说话)。

霍赫伯格说,每当他在神经重症监护室看到有人“昨天可能还在行走和说话没有困难,但今天却中风,现在既不能动也不能说话”时,他都会想起这类研究的利害关系。尽管他希望这项工作进展得更快,但霍赫伯格说他对该领域的进展感到满意。“我认为脑机接口将有很多机会帮助人们,并希望能够快速帮助人们。”

*编者注(2019 年 4 月 24 日):此引述已更新。张澄清了他最初的声明,明确指出他的实验室尚未尝试单独解码思想。  

© . All rights reserved.