研究人员希望脑植入设备有朝一日能帮助失去说话能力的人重新获得声音——甚至可能唱歌。现在，科学家们首次证明，大脑的电活动可以被解码并用于重建音乐。
一项新的研究分析了来自 29 人的数据，这些人已经在使用邮票大小的电极阵列进行癫痫发作监测，这些电极直接放置在他们的大脑表面。当参与者聆听 Pink Floyd 乐队 1979 年的歌曲“Another Brick in the Wall, Part 1”时，电极捕捉到了大脑几个区域的电活动，这些区域与音乐元素有关，如音调、节奏、和声和歌词。研究人员利用机器学习，重建了参与者听到的略微失真但独特的音频。研究结果于周二发表在《PLOS Biology》杂志上。
几十年来，神经科学家们一直致力于仅从脑活动中解码人们看到、听到或思考的内容。2012 年，一个团队（包括这项新研究的资深作者——加州大学伯克利分校的认知神经科学家罗伯特·奈特）首次成功重建了参与者佩戴植入电极时听到的单词的录音。此后，其他人也使用类似的技术来重现最近从参与者的大脑扫描中观看或想象的图像，包括人脸和风景照片。但奈特及其同事最近在《PLOS Biology》上发表的论文首次表明，科学家可以窃听大脑来合成音乐。
加州大学旧金山分校的神经科学家沙伊莉·杰恩说：“这些令人兴奋的发现建立在先前从脑活动中重建普通言语的工作基础上。”她没有参与这项新研究。“现在我们真的能够深入大脑，挖掘声音的本质。”
为了在这项研究中将脑活动数据转化为音乐声音，研究人员训练了一个人工智能模型，以解读从数千个电极捕获的数据，这些电极在参与者接受手术时聆听 Pink Floyd 歌曲时连接到他们身上。
为什么团队选择 Pink Floyd——特别是“Another Brick in the Wall, Part 1”？认知神经科学家、该研究的主要作者卢多维克·贝利耶说：“我们在论文中提到的科学原因是，这首歌层次非常丰富。它融入了复杂的和弦、不同的乐器和多样的节奏，这使得它很有分析价值。不太科学的原因可能是我们真的很喜欢 Pink Floyd。”
人工智能模型分析了大脑对歌曲声学轮廓各个组成部分的反应模式，分解了音高、节奏和音调的变化。然后，另一个人工智能模型重新组装了这个分解的组合，以估计患者听到的声音。一旦大脑数据被输入模型，音乐就回来了。它的旋律大致完整，歌词虽然失真，但如果你知道要听什么，还是可以辨别的：“All in all, it was just a brick in the wall.”（总而言之，这只是一块墙砖。）
该模型还揭示了大脑的哪些部分对歌曲的不同音乐特征做出反应。研究人员发现，大脑音频处理中心的一些部分——位于颞上回，就在耳朵后面和上方——对声音或合成器的出现做出反应，而其他区域则沉浸在持续的嗡嗡声中。
尽管研究结果侧重于音乐，但研究人员预计他们的结果最有用的是将脑电波转化为人类语言。无论语言如何，言语都包含旋律细微差别，包括节奏、重音、语调和音调。“这些我们称之为韵律的元素，传达了我们无法仅用文字表达的意义，”贝利耶说。他希望该模型能够改进脑机接口，这是一种辅助设备，可以记录与言语相关的脑电波，并使用算法来重建预期的信息。这项技术仍处于起步阶段，可以帮助那些因中风或瘫痪等疾病而失去说话能力的人。
杰恩说，未来的研究应该调查这些模型是否可以从参与者听到的音乐扩展到想象的内心言语。“我希望这些发现能够转化，因为当人们想象说一个词时，与实际发声说出这个词相比，会激活相似的大脑区域，”她说。如果脑机接口可以用音乐中固有的韵律和情感分量来重建某人的言语，那么它就可以重建的不仅仅是文字。“与其像机器人一样说‘我。爱。你。’，你可以喊‘我爱你！’”奈特说。
在我们能够将这项技术交到患者手中——或大脑中——之前，仍然存在一些障碍。首先，该模型依赖于直接从大脑表面获取的电记录。随着大脑记录技术的改进，或许有可能在无需手术植入的情况下收集这些数据——可能使用连接到头皮的超灵敏电极代替。后一种技术可以用来识别参与者在脑海中想象的单个字母，但每个字母的过程大约需要 20 秒——远不及自然语言的速度，自然语言的速度约为每分钟 125 个单词。
研究人员希望通过将电极更紧密地排列在大脑表面，使失真的回放更清晰、更易于理解，从而更详细地观察大脑产生的电交响曲。去年，加州大学圣地亚哥分校的一个团队开发了一种密集排列的电极网格，该网格提供的脑信号信息分辨率比目前的设备高 100 倍。“今天我们重建了一首歌，”奈特说。“也许明天我们可以重建整张 Pink Floyd 专辑。”
本文的一个版本，标题为“A Little Brain Music”，经过改编，收录在《大众科学》2023 年 11 月刊中。