在拥挤的聚会或嘈杂的餐厅里，我们大多数人都会做一件了不起的事情。在周围所有的声音中，我们的大脑会挑选出我们想听到的声音，并专注于那个人所说的话。听力受损的人就没有那么幸运了。嘈杂的环境对他们来说尤其困难，助听器和人工耳蜗也帮不上太大的忙。这类技术通常要么放大所有的声音，要么将它们混在一起，以至于无法区分。
大脑如何处理在噪声中听声音的技巧这个问题被称为“鸡尾酒会问题”。这是一个困扰听觉科学家几十年，并限制了他们所能提供的解决方案的难题。但研究人员刚刚在帮助人们在噪声中听到声音方面向前迈进了一大步。在5月15日发表在《科学进展》杂志上的一篇论文中，哥伦比亚大学祖克曼研究所的工程师们展示了一种实验性技术，这种技术可能会催生出一种大脑控制的助听器。他们的概念验证设备使用人工智能来分离声音，并将它们与听者的脑电波进行比较，以识别和放大听者最关注的说话者的声音。
哥伦比亚大学祖克曼研究所的尼玛·梅斯加拉尼是这篇论文的资深作者，自2012年首次发现可以通过监测脑电波来判断听者正在关注哪个声音以来，他一直在研究同一问题的各个方面。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保未来能够继续报道关于塑造我们当今世界的发现和思想的具有影响力的故事。
2017年，他开发了一种可以从众多声音中提取出一个声音的技术，但前提是系统必须经过训练才能识别出特定的说话者——这在现实世界的交流中是一个严重的限制。现在，梅斯加拉尼和他的同事们通过使用脑电波来解码您正在听谁说话，然后在无需训练的情况下分离出对话者的声音，从而取得了重大进展。“消除那个障碍，”他说，“是一个相当大的突破。”
“这是一项杰出的工作，”卡内基梅隆大学神经科学研究所所长、未参与这项研究的听觉神经科学家芭芭拉·辛-坎宁安说。明尼苏达大学的听觉神经科学家安德鲁·奥克森汉姆多年来一直研究鸡尾酒会问题，他说：“这使整个领域更接近实际应用，但尚未实现。”
梅斯加拉尼和他的同事们创建的是一种算法，他们只在接受脑部手术的癫痫患者身上进行了测试。这类患者为科学家们提供了将电极直接放入人脑的难得机会。梅斯加拉尼和他的同事们从参与者面前的扬声器中播放了两个声音（一男一女）同时说话。他们指示参与者先专注于一个声音，然后再专注于另一个声音。哥伦比亚大学的工程师们将声音和患者大脑的电信号输入到他们的算法中，该算法对声音进行分类，放大被关注的声音，并衰减另一个声音。“这两个输入进入这个盒子，输出的是经过修改的音频，其中目标说话者的声音更大，”梅斯加拉尼说。
虽然使用脑电波来跟踪听觉注意力是一项令人印象深刻的成就，但真正的进步与算法有关。它使用一种复杂的人工智能形式，称为深度吸引子网络，来自动和实时地分离未知的说话者。这类神经网络模型是在过去四年中开发的，它在越来越复杂的计算层中寻找统计规律，以确定声音混合物中的哪些部分属于一起。“深度学习是使[这]成为可能的秘诀，”梅斯加拉尼说。
神经科学家尚未完全弄清楚大脑如何在噪声中听到声音并不重要。“我们不是试图模拟大脑，”梅斯加拉尼说。“我们只是试图解决鸡尾酒会问题。”他们用比任何人一生中听到的都多的人类语音例子来训练该算法。然后，他们给它布置了任务，分析由多个说话者的声音创建的声谱图或声学特征中详细的、经常重叠的信息，并将它们分离成不同的声音流。以图形方式表示，该论文将两种组合的声音显示为红色和蓝色点的雾状。一旦分离，一种声音是一簇红点，另一种是蓝点。该算法究竟是如何做到这一点的，仍然存在一些神秘之处。“我们的猜测是，它使用频谱和时间信息、共同的开始和结束[语音特征]以及谐波结构，”梅斯加拉尼说。“我们告诉它，这片红色和蓝色的云应该变得可分离。它不知何故神奇地发现了这种转换，突然你就有了两片云。”
在这项技术能够应用于实际的助听器之前，仍然存在相当大的挑战。梅斯加拉尼估计至少还需要五年时间。当然，一种可销售的设备需要一种非侵入性的技术来生成脑电波的脑电图记录。包括梅斯加拉尼在内的几位科学家已经表明，带有电极的耳内或耳周助听器可以工作，尽管它们产生的信号远没有那么精确。而且，虽然功能强大，但该算法仍然不是100%成功。
在所有可能性中，首批使用这项技术的设备将帮助患有轻度至中度听力损失的人。“您可能需要一些残余听力，”梅斯加拉尼说。“只要您能跟踪[一个]声音的起伏，那将是这项技术要寻找的那种特征
纽约大学朗格尼医学中心的电气工程师马里奥·斯维尔斯基说，即使完全不监测脑电波，仅说话人分离算法也可能被证明是有帮助的。“我设想一个可以与您的助听器对话的智能手机应用程序，”他说。“该应用程序会向您显示不同说话人的图标。如果您点击一个图标，那么该说话人的声音将被优先放大，而其他人的声音将被衰减。”
至于真正的脑控助听器，斯维尔斯基担心成本可能会超过收益，并且怀疑它是否会被实施。但他仍然对梅斯加拉尼的工作充满热情。“拥有一个读心助听器的整个想法令人着迷，”斯维尔斯基说。“这不仅仅是科幻小说。这项研究表明，这至少是一种可能的可能性。”