脑机接口首次帮助一位无法清晰表达的双语人士用他的两种语言进行交流。一个连接到脑机接口的人工智能（AI）系统实时解码这个人试图用西班牙语或英语表达的内容。
这些发现于5月20日发表在《自然-生物医学工程》杂志上，为了解我们的大脑如何处理语言提供了见解，并可能在未来促成能够为无法口头交流的人们恢复多语种言语能力的持久设备。
加州大学戴维斯分校的神经科学家谢尔盖·斯塔维斯基说：“这项新研究为新兴的语音恢复神经假体领域做出了重要贡献。”斯塔维斯基没有参与这项研究。尽管该研究仅包含一名参与者，并且还有更多工作要做，但“我们完全有理由认为，当与最近的其他进展相结合时，这种策略在未来将以更高的准确性工作”，斯塔维斯基说。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关当今塑造我们世界的发现和思想的具有影响力的故事的未来。
语音恢复植入物
这项研究的核心人物，昵称潘乔，在20岁时中风，导致身体大部分瘫痪。结果，他只能呻吟和咕哝，但无法清楚地说话。三十多岁时，潘乔与加州大学旧金山分校的神经外科医生爱德华·张合作，调查中风对他大脑的持久影响。在2021年发表的一项突破性研究中，张的团队在潘乔的大脑皮层上手术植入了电极，以记录神经活动，这些活动被翻译成屏幕上的文字。
潘乔的第一句话——“我的家人在外面”——是用英语解读的。但潘乔是一位以西班牙语为母语的人，他的英语是在中风后才学会的。西班牙语仍然唤起他对熟悉感和归属感的感受。“一个人说的语言实际上与他们的身份密切相关，”张说。“因此，我们的长期目标从来不仅仅是替换单词，而是恢复人与人之间的联系。”
为了实现这一目标，该团队开发了一个人工智能系统来解读潘乔的双语语音。这项工作由张的博士生亚历山大·席尔瓦领导，包括在潘乔试图说出近200个单词时训练系统。他努力形成每个单词创造了一种独特的神经模式，这些模式被电极记录下来。
然后，作者应用了他们的人工智能系统，该系统具有西班牙语模块和英语模块，用于潘乔试图大声说出的短语。对于短语中的第一个单词，西班牙语模块选择与神经模式最匹配的西班牙语单词。英语组件也做同样的事情，但从英语词汇中选择。例如，英语模块可能会选择“she”作为短语中最有可能的第一个单词，并评估其正确的概率为 70%，而西班牙语模块可能会选择“estar”（是），并衡量其正确的概率为 40%。
逐字逐句
从那里，两个模块都尝试构建一个短语。它们都根据神经模式匹配以及它是否可能跟随第一个单词来选择第二个单词。因此，“I am”将获得比“I not”更高的概率得分。最终输出产生两个句子——一个英语句子和一个西班牙语句子——但潘乔面对的显示屏仅显示总概率得分最高的版本。
这些模块能够根据第一个单词区分英语和西班牙语，准确率达到 88%，并且它们解码正确句子的准确率达到 75%。潘乔最终可以与研究团队进行坦诚、非脚本式的对话。“在我们第一次完成这些句子之一后，我们笑了好几分钟，”席尔瓦说。
两种语言，一个大脑区域
这些发现揭示了大脑语言处理中意想不到的方面。之前一些使用非侵入性工具的实验表明，不同的语言激活大脑的不同部分。但作者对直接记录在皮层中的信号的检查发现，“西班牙语和英语的大量活动实际上来自同一区域”，席尔瓦说。
此外，潘乔的神经反应似乎与从小就双语长大的儿童的反应没有太大差异，尽管他是在三十多岁时才学会英语的——这与之前研究的结果相反。席尔瓦认为，总的来说，这些发现表明，不同的语言至少共享一些神经特征，并且它们可能可以推广到其他人。
日本独协医科大学的神经生理学家 Kansaku Kenji（漢字: 勘作賢治）表示，除了增加参与者之外，下一步将是研究“具有与英语非常不同的发音特性”的语言，例如汉语或日语。席尔瓦说，这就是他已经在研究的事情，以及“语码转换”，或在单个句子中从一种语言切换到另一种语言。“理想情况下，我们希望让人们尽可能自然地交流。”
本文经许可转载，并于 2024年5月21日首次发表。