现在是周六晚上，州博览会上热闹非凡。在你的左边，帐篷里传出歌曲《昼夜摇滚》。你的身后，一群青少年正在喧闹地嬉笑。不知何处，一个婴儿在啼哭。五彩缤纷的霓虹灯和闪烁的灯光争夺着你的注意力。过山车骤然下降，又急转弯。你的感官已经超载了。但是，如果没有手里的冰淇淋甜筒，以及空气中弥漫的棉花糖和蜜烤杏仁的香味，这种体验就不算完整。
像这样热闹的集市场景，恰恰说明了有多少信号同时从环境中涌向我们。然而，我们的大脑能够整合所有的刺激，并理解这嘈杂的运动和声音。这种整合究竟是如何发生的，目前尚不清楚——这自然激起了神经科学家的好奇心。
然而，州博览会上典型的丰富刺激并不利于研究大脑对五种感官的融合：一个被称为感觉整合的过程。研究人员往往对大脑“欺骗”自己，从而对其周围环境产生错误印象的情况感兴趣。例如，在腹语术中，即使声音不是来自腹语表演者膝上松弛下巴的木偶，观众也会暂停怀疑。同样，银幕上的角色实际上并没有说话；他们的话语是从分布在剧院周围的扬声器发出的。但是，当大脑观察到嘴唇与词语同步移动时，它就会相信这些嘴唇是所听到声音的实际来源的错觉。换句话说，我们的听觉和视觉印象协同工作，创造了我们对周围环境的感知。
支持科学新闻事业
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻事业 订阅。通过购买订阅，您将有助于确保关于塑造我们当今世界的发现和思想的具有影响力的故事的未来。
但是，我们不仅有时会误解感觉印象的来源，有时还会将其感知为完全不同的东西。例如，20世纪70年代中期，英国萨里大学的心理学家哈里·麦格克和约翰·麦克唐纳发现了一个有趣的现象。他们向志愿者播放了一部影片，影片中一位说话者发出了音节“ga”，但他们在该音节上叠加了声音“ba”。测试对象报告说，他们既没有听到这两个声音中的任何一个；相反，他们听到了音节“da”。视觉和听觉信息结合起来，创造了第三种全新的声音，这个过程现在被称为麦格克效应。我们的听觉和触觉也可以产生虚幻的联盟。当我们摩擦手掌时，我们可以通过感知我们感觉到的湿度以及皮肤发出的声音来判断它们有多湿。如果我们听到强烈的沙沙声，我们的皮肤会感觉干燥——这种声音越微弱或音调越高，我们的手掌就会感觉越湿。
这些错觉表明，我们的大脑不断地结合来自各种感觉器官的信息，以“起草”一个或多或少正确的周围环境图像。感知研究人员提出的问题是：我们各种感官在大脑中的何处以及如何融合？
有两种基本机制是可能的。要么感官独立运作，我们的大脑在处理的最后阶段将它们的输入组合成一个连贯的整体，要么感官从一开始就协同工作，在非常早期的阶段相互补充和影响。
考虑一下邻居家院子里狗叫的场景。在第一个模型中，大脑的每个感觉系统首先单独分析其特定的刺激，并生成其自身完整的环境“图像”。例如，我们的视觉器官创建了一只金毛寻回犬在白色栅栏后面吠叫的图像，而我们的听觉系统同时记录了吠叫声和驶过汽车的声音。然后，大脑整合感觉印象以完成场景：一只吠叫的狗在街道附近的院子里。
在第二个模型中，视觉系统可能首先在绿色区域内检测到给定大小的金棕色表面。与此同时，听觉系统从该表面的方向拾取有节奏的重复声音。然后，当听觉系统感知到声音时，视觉系统会记录到表面发生变化。各种感官在几分之一秒内相互补充，直到出现吠叫的金毛寻回犬的整体印象。在这种机制中，感觉整合发生在处理的非常早期的阶段。
这两种情景是感觉整合可能机制谱的极端。在这两种变体之间，无数个中间阶段是可能的。据推测，大脑实际采用的路径介于两者之间。问题是，在哪里？
整合的图像
心理学家在20世纪50年代首次开始研究感官之间的相互作用，通过检查不同的感官组合如何影响我们对周围世界的感知。他们量化了诸如上面提到的麦格克效应和腹语术效应等错觉，腹语术效应最早由多伦多约克大学的研究人员伊恩·P·霍华德和W·B·坦普尔顿在1966年描述。即使在今天，心理学研究仍在继续探索感知错觉，以找出我们的大脑如何组合感觉信息的不同方面，以及这如何提高我们在依赖多感官信息的任务中的表现。
大约在20世纪70年代，当心理学家从感知的角度研究感觉整合时，来自神经生理学等更经典的生物学领域的科学家开始研究大脑如何组合感觉信息的神经元基础。但是，尽管许多研究人员研究了与特定感官相关的神经元，例如视觉或听觉通路中的神经元，但只有少数人研究了多感官特性。只是在最近，部分得益于脑成像技术的进步，人们才开始意识到我们不同的感官并没有像以前认为的那样离散地运作。
功能性磁共振成像（fMRI）等技术利用了以下事实：当大脑的某个区域特别努力工作时，它比相邻区域需要更多的氧气，因此血液灌注也更多。富氧血红蛋白分子在强磁场中的行为与不含氧的分子不同，因此fMRI扫描仪可以检测血流，从而生成工作大脑的图像。
现在再次考虑邻居家吠叫的狗：fMRI扫描应该能够检测到感觉整合的两种模型之间的差异。如果第一个模型是正确的，并且感觉信息由各个系统分别分析，然后在最后组合，那么大脑的许多不同区域应该会被激活，并且每个区域都应该专门处理单一感官。另一方面，如果信息在早期组合，那么只有少数高度专业化的区域应该就足够了。
在过去的几年里，一系列成像研究揭示了一个复杂的大脑区域网络，当各种感觉数据融合时，这些区域的激活最强烈。长期以来，人们都知道大脑皮层顶叶和额叶中所谓的联合区域会处理通过各种感觉通道传入的信息流。然而，迄今为止一直被认为仅负责一种感官的区域最近已被证明具有更广泛的才能。正如伦敦大学学院的乔恩·德赖弗在2000年描述的那样，当测试对象的手指也感知到触觉刺激时，刚刚看到右手或左手附近短暂闪光的测试对象的视觉皮层活动会增加。然而，只有当视觉和触觉刺激同时且在身体的同一侧发生时，这种大脑活动才会增加。
心理学家早就知道这种“多模式强化”现象。例如，当闪烁的光点强度降低时，人们更难看到它。然而，如果我们在闪烁的同时听到短暂的声音爆发，我们甚至会感知到最微弱的光芒。但是，这种效果只有在光和声音精确同步时才有效。
语言的感知尤其有趣。正如麦格克效应所证明的那样，口语不仅通过声音传递。嘴唇的运动也传递重要的信息。2001年，现在在英国巴斯大学的心理学家杰玛·卡尔弗特观察到，当同时感知到声音和视觉刺激时，语音感知会增加听觉和视觉系统的活动。换句话说，移动嘴唇的图像会及早影响声学信号的处理。听觉和视觉之间的这种协同作用发生在以前被认为是独立感觉区域的大脑区域。
即使是人说话的无声图像也足以可测量地刺激听觉皮层，包括当说话者在说胡话时。另一方面，做鬼脸却让听觉皮层毫无反应。这种现象清楚地表明，听觉皮层专门对语音的视觉图像做出反应，声学和视觉刺激的感觉整合促进了语音处理。
大脑中的融合
因此，假定早期感觉融合的第二个模型似乎更准确。我的团队在德国蒂宾根马克斯·普朗克生物控制论研究所的研究也指向这个方向。2005年，我们对恒河猴（Macaca mulatta）听觉皮层的各个区域进行了高分辨率磁共振测量。听觉皮层包含各种亚单位[参见对面页面的方框]。初级听觉皮层通过丘脑中的介质接收由内耳中的声波产生的电脉冲。然后，这些脉冲传播到更高的听觉区域，这些区域像一条只有几毫米厚的带子一样环绕着初级听觉皮层。
当我们通过耳机向动物播放沙沙声，并用刷子刺激它们的手掌或脚底时，我们测量了听觉皮层中增加的活动。当我们同时进行这两项操作时，特别是次级听觉皮层的后部末端受到了刺激。今年早些时候，我们在一项新的研究中看到了类似的结果，我们在该研究中使用视觉刺激代替触觉刺激。我们再次发现，只有听觉皮层的后半部分受到了刺激。感觉整合似乎发生在这里。
我们尚不清楚为什么感觉信息会在这些特定的大脑区域融合。但似乎听觉皮层的后部专门用于记录空间信息——即，识别声音的方向性。也许发生在这里的感觉融合有助于将各种感觉印象与空间中的特定来源联系起来。
今年1月，神经科学家查尔斯·施罗德和他在纽约州奥兰治堡内森·S·克莱恩精神病研究所的同事进行的一项开创性研究揭示了一种机制，非听觉刺激通过该机制增强了听觉皮层的活动。研究人员发现，虽然单独的触觉刺激不会引起听觉神经元放电，但它会操纵神经元中潜在的振荡模式，使其具有最大的放电潜力。这样，如果听觉皮层同时接收到听觉和触觉刺激，其神经元的放电强度将比单独接收到听觉刺激时更强。这一新的见解有助于解释为什么接收来自两个不同感觉器官的信息会导致两个处理中心都更强烈地激活，并且它可能指向感觉整合的神经元基础。
虽然我们仍在努力全面了解大脑如何处理感觉信息，但有一点似乎是肯定的：感觉整合发生在高级区域，并且发生在过程的早期，尽管没有理论上假设的那么早。假设感觉印象单独处理的第一个模型根本是错误的。假设感官在最早可能时刻融合的第二个模型被夸大了，但更符合现实。显然，大脑的许多区域都参与了组合来自不同感官的信息，并且与先前认为的相比，大脑中专门用于每种单独感官的部分要小得多。