在 20 世纪 70 年代末，联邦调查局聘请了苏·托马斯以及其他八名失聪人士来分析指纹模式。该机构认为，失聪人士可能更容易在出了名的细致任务中保持专注。然而，从第一天起，托马斯就发现这份工作单调得难以忍受。她经常向上级抱怨，以至于当她的老板召集她与办公室的其他特工开会时，她都准备好失业走人了。
但托马斯并没有被解雇——从某种意义上说，她被晋升了。特工们给她看了一段两名犯罪嫌疑人交谈的无声视频，并要求她破译他们的对话。
在他们自己与托马斯的互动中，特工们注意到她多么巧妙地阅读他们的嘴唇。正如她的同事预料的那样，托马斯轻松地解读了嫌疑人的对话，这使他们牵涉到一个非法赌博团伙。托马斯作为联邦调查局第一位失聪唇语专家的职业生涯由此开始。
支持科学新闻业
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻业 订阅。通过购买订阅，您正在帮助确保有关塑造我们今天世界的发现和想法的具有影响力的故事的未来。
一生依赖唇语进行交流磨练了托马斯的技术，但我们所有人对这种天赋的依赖程度都超出了我们的认知。事实上，如果我们看不到说话者的嘴唇，尤其是在嘈杂的环境中或当说话者带有我们不熟悉的浓重口音时，我们理解言语的能力就会降低。用眼睛和耳朵学习感知言语是典型言语发展的重要组成部分；因此，失明婴儿——他们看不到周围说话者的嘴巴——通常比平均水平花费更长的时间来学习言语的某些方面。我们简直无法抗拒将我们从别人的嘴唇上看到的词语与我们听到的词语整合起来。近年来，对多感官言语感知的研究帮助带来了我们对大脑如何组织从我们许多不同感官接收到的信息的理解的革命。
神经科学家和心理学家在很大程度上放弃了早期将大脑视为瑞士军刀的观点，在瑞士军刀中，许多不同的区域专门用于不同的感官。相反，科学家们现在认为，大脑已经进化到鼓励感官之间尽可能多的串扰——大脑的感官区域在物理上是相互交织的。
我们的感官总是互相窃听，互相干涉。例如，虽然视觉皮层主要关注视觉，但它也完全有能力解释其他感官信息。在被蒙上眼睛 90 分钟内，视力正常的人通过视觉皮层变得对触觉格外敏感；同样，脑部扫描显示，盲人的视觉皮层会重新布线以适应听觉。当我们吃薯片时，我们咀嚼的脆度部分决定了我们认为薯片有多好吃——研究人员可以通过调整人们听到的声音来偏倚味觉测试的结果。当我们静止站立时，我们看的地方以及我们看到的东西会影响我们整个身体的姿势。简而言之，过去 15 年的研究表明，没有一种感官是单独工作的。多感官革命也为改进盲人和聋人的设备（如人工耳蜗）提供了新方法。
无声音节
多感官感知最早且最可靠的例子之一是麦格克效应，哈里·麦格克和约翰·麦克唐纳在 1976 年首次报道了这一效应。如果您观看一段视频剪辑，其中有人无声地重复口型发出音节“ga”，同时您听到同一个人说出音节“ba”的录音，您会听到他们发音为“da”。无声的“ga”音节改变了您对可听见的“ba”音节的感知，因为大脑整合了身体听到和看到的东西。麦格克效应在所有语言中都有效，即使您已经研究它 25 年，它仍然有效——我可以亲自证明这一点。
您听到的言语也受到您感觉到的言语的影响。 1991 年，当时在达特茅斯学院的卡罗尔·福勒和她的同事要求天真的志愿者尝试一种名为 Tadoma 技术的技巧，您可以通过将手指放在对方的嘴唇、脸颊和脖子上来解读对方的言语。在人工耳蜗出现之前，许多聋盲人士（包括海伦·凯勒）都依赖 Tadoma。志愿者感觉到的音节改变了他们解读来自附近扬声器的音节的方式。
1997 年，当时在牛津大学的 Gemma Calvert 绘制了唇读期间大脑中最活跃的区域。没有正式唇读经验的志愿者默默地唇读一张缓慢清晰地说出数字一到九的面孔。卡尔弗特和她的同事发现，唇读激发了听觉皮层（大脑中处理声音的区域）以及已知在有人听到言语时活跃的相关大脑区域。这是首次证明跨感官影响大脑中被认为专门用于单一感官的区域的例子之一。最近的研究为感官合成提供了进一步的证据。例如，科学家现在知道，听觉脑干会对看到的言语的各个方面做出反应，而以前他们认为听觉脑干仅参与更基本的声音处理。神经影像学研究表明，在麦格克效应期间——听到“da”即使录制的声音是“ba”——大脑的行为就好像音节“da”落在了那个人的耳朵里一样。
这些发现表明，大脑可能会平等地重视从耳朵、眼睛甚至皮肤中收集到的言语。这并不是说这些不同的模式提供的信息量相等：显然，听觉比视觉或触觉捕捉到更多的发音细节。相反，大脑会协同努力考虑并结合其接收到的所有不同类型的言语信息，而与模式无关。
写在你的脸上
在其他情况下，不同的感官会互相帮助处理相同类型的信息。例如，一个人说话的特定方式提供了关于他们是谁的信息，而无论他们的言语是看到还是听到。我的同事和我拍摄人们说话的视频，并操纵生成的视频以消除所有可识别的面部特征——将面孔变成发光点的图案，这些图案像萤火虫一样在某人的脸颊和嘴唇应该出现的地方飞 dart 和 bob。当我们播放视频时，我们的志愿者可以唇读这些没有面孔的点簇，并认出他们的朋友。
源自言语的简单声音也可以让我们了解一个人的身份。哥伦比亚大学的罗伯特·雷梅兹和他的同事将正常的言语录音简化为听起来有点像《星球大战》中 R2-D2 发出的口哨声和嘟嘟声的正弦波。尽管这些正弦波缺少区分声音的典型品质，如音高和音色，但它们保留了说话风格信息，使听众能够认出他们的朋友。最引人注目的是，志愿者可以将这些正弦波与同一个人说话的发光点视频相匹配。
听觉和视觉言语的简化版本都保留了关于言语风格的相似信息这一事实表明，这些不同的感知模式在大脑中是纠缠在一起的。神经影像学研究支持这种联系：聆听熟悉的人的声音会在梭状回中诱发神经活动，梭状回是人脑中参与面部识别的区域。
这些发现激发了一个更离奇的预测。如果这些感知形式是混合在一起的，那么学习阅读某人的嘴唇应该同时提高一个人听到他或她说出的单词的能力。我们要求没有唇读经验的志愿者练习唇读某人说话的无声视频一个小时。之后，志愿者们听了一组在随机噪声背景下播放的口语句子。他们不知道的是，一半的参与者听的是他们刚刚唇读的同一个人说出的句子，而另一半听的是不同说话者说出的句子。唇读和听到同一个人的志愿者更成功地从噪声中挑选出句子。
混杂的感知
对多感官言语感知的研究帮助激发了科学家们研究所有先前未研究的感官之间的相互作用。例如，我们大多数人都知道气味是味道的重要组成部分，但一些研究表明，视觉和声音也会改变味道。在一个特别引人注目的例子中，科学家们发现，橙味饮料如果是红色的，就会尝起来像樱桃味，反之亦然。 2005 年，意大利特伦托大学的马西米利亚诺·赞皮尼和他的队友表明，当志愿者吃薯片时，改变播放给他们的嘎吱声的音色部分决定了薯片尝起来有多新鲜和酥脆。观看连续下降的视觉纹理（如瀑布）会使人们确信他们用手感觉到的某些纹理表面正在上升。其他证据表明，跨感官输入会在不知不觉中改变我们的行为。明尼苏达大学的汤姆·斯托弗根和他的同事要求志愿者站直，并将目光从附近的物体转移到远处的物体。这种简单的视觉焦点转移引起了身体姿势的细微但系统的变化。
类似的发现变得如此普遍，以至于许多研究人员现在认为大脑的感官区域本质上是多感官的。这种修订后的大脑模型也与大脑令人难以置信的可塑性的证据相符——即使面对短期或细微的感官剥夺，它也可以切换区域的主要功能。例如，过去四年的影像学研究证实，将一个人蒙上眼睛短短一个半小时，就可以启动他们的视觉皮层以响应触摸。事实上，视觉皮层的参与实际上提高了对触觉的敏感性。在一个相关的例子中，近视通常会增强人们的听觉和空间技能，即使他们戴着眼镜（这会使大部分视觉外围区域模糊）。总的来说，跨感官补偿比我们以前认为的要普遍得多。
多感官革命已经开始帮助那些失去主要感官之一的人。例如，研究表明，如果某人的大脑有太多时间将被忽视的听觉皮层重新用于其他形式的感知（如视觉和触觉），则人工耳蜗的效果会降低。因此，通常建议先天性耳聋的儿童尽早接受人工耳蜗植入。类似的研究鼓励让接受人工耳蜗植入的失聪儿童观看人们说话的视频，以便他们学习如何将他们在别人的嘴唇上看到的言语与他们听到的言语整合起来。
从事面部和语音识别设备工作的工程师也受益于对多感官感知的研究。当面临即使是中等程度的背景噪声时，语音识别系统通常表现不佳。教会此类系统分析某人嘴部的视频片段可以大大提高准确性——这种策略甚至适用于通常安装在手机和笔记本电脑中的摄像头类型。
在某些方面，多感官感知的概念似乎与我们的日常经验相矛盾。我们的本能是将感官组织成类型，因为每种感官似乎都掌握了我们世界的非常不同的方面。我们用眼睛看别人，用耳朵听他们；我们用手感受苹果的硬度，但用舌头品尝它的味道。然而，一旦感官信息到达大脑，这种严格的分类就会崩溃。大脑不会像分类硬币一样，将来自眼睛的视觉信息引导到一个神经容器中，将来自耳朵的听觉信息引导到另一个独立的容器中。相反，我们的大脑通过融合各种形式的感官感知，尽可能多地从世界中获得意义。