手势提供洞察力

手和手臂的动作不仅仅是强调词语;它们为理解提供语境

我们的身体动作总是向他人传达关于我们的一些信息。身体会“说话”,无论我们是坐着还是站着,说话还是只是倾听。在相亲中,两个人如何定位自己,可以说明这个晚上将如何展开:她是倾向于他还是远离他?他的微笑是真诚的还是勉强的?

手势也是如此。几乎总是无意识的,它们会泄露爱、恨、谦卑和欺骗。然而多年来,科学家们花费在研究它们上的时间却出奇地少,因为研究人员认为手和手臂的动作只是口头交流的副产品。这种观点在 20 世纪 90 年代发生了改变,部分原因是芝加哥大学的心理语言学家戴维·麦克尼尔的影响力很大的工作。对他来说,手势是“洞察思维过程的窗口”。麦克尼尔的工作以及此后的众多研究表明,身体可以强调、削弱甚至反驳一个人所说的话。专家们越来越一致认为,手势和言语源于共同的认知过程,并变得密不可分。理解这种关系对于理解人们如何进行整体交流至关重要。

视觉信息通道
我们大多数人都会发现,如果不使用手和手臂进行长时间的交谈是困难且不舒服的。每当我们试图解释某事时,手势都会发挥作用。至少,这些动作是与言语相关的;它们伴随着我们的言语,传达难以用语言表达的信息。手的动作可以展示复杂的空间关系、方向、物体的形状。它们使我们能够在空中绘制地图,告诉困惑的驾驶员如何到达高速公路。不打手势的人会剥夺自己和听众的重要信息通道。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。


关于沟通障碍个体的神经学发现也证明了言语和手势之间的基本联系。导致肢体活动能力丧失的大脑损伤可能会损害口头交流。失语症患者——他们没有说话或理解言语的能力——也发现很难打手势或理解他人的手势。这些案例和其他案例表明,手势是由负责言语的大脑区域控制的。

对于听者来说,声音和动作的解释也密切相关。多年来,这种联系只能通过间接的方式来证明,即询问测试对象他们从说话和打手势的其他人那里收集到了哪些信息。最近的大脑研究提供了更好的洞察力。例如,科尔盖特大学的神经科学家斯宾塞·D·凯利借助事件相关电位(由峰和谷的序列组成的特征性脑电波)研究了手势,当一个人观察另一个人交流时,会以某些模式发生。这些模式揭示了特定大脑区域的神经元处理步骤。其中一个负峰(谷),称为 N400,尤其重要。当我们偶然听到一个不恰当且出乎意料的词时,例如,当我们听到“他用袜子涂抹烤面包”这样的句子时,就会出现这种情况。

凯利将测试对象连接到脑电图仪,并在他们观看视频时绘制了他们的事件相关电位。在视频中,演员在说话时使用手势来指示物体的特征。手的动作可能在语义上与一个词相符,例如当用手势指向桌子上的细长玻璃杯来表示“高”这个词时。手势也可能用于传达额外的信息,例如,当“高”这个词伴随着手指的动作,表明玻璃杯细长茎的细度时。观看者也看到了矛盾的场景,其中演员将“高”这个词与指向桌子上矮物体的姿势结合在一起。有时演员根本不做手势;在这种对照情况下,测试对象只听到口语。

根据情况的不同,受试者表现出明显不同的脑电波模式。研究人员发现,每当言语和手势相互矛盾时,就会出现强烈的负峰——所谓的 N400 效应。他们将这种现象解释为意味着手势和词语实际上是共同处理的:观察者将手势的含义纳入他们对词语的解释中。

这一结论得到了以下发现的支持:在对照情况下,事件相关电位没有表现出可比的负性。即使在早期处理过程中,曲线也会因手的动作是否与词语相符、补充词语或与词语相矛盾而有所不同。“手势的语义内容,”凯利说,“有助于大脑中词语意义的处理。”

哪个先出现?
尽管取得了令人感兴趣的进展,但来自不同学科的科学家仍然只能猜测手势和言语之间密切耦合的起源。由于灵长类动物拥有特别丰富的手势库——例如,幼年黑猩猩在向母亲乞讨时通常会伸出张开的手——因此可能是手势在人类中先于言语出现。其他研究人员提出了“声音手势”——可以用作意义单位的简单声音,很像手的动作或鬼脸——在人类中首先出现的概念。

观察幼儿可以为口头和视觉交流的共同发展提供线索。在 9 到 12 个月大之前,婴儿会张开手的所有手指去抓取他们想要的任何物体——类似于黑猩猩乞讨食物。在女孩中大约 10 或 11 个月时,男孩稍晚一些,会出现神经元成熟转变:婴儿开始用一根手指而不是所有手指指向。抓住物体的努力变成了定向指向,通常是为了引起看护者的注意。指向也通常伴随着婴儿最初的口头符号化尝试(“da”、“wawa”),即使早期的尝试经常失败。随着精细运动手指控制能力的提高,在 9 到 14 个月之间,更细致的手势词汇开始发展,但口语仍然落后。

用一只手搁置话题
同步的词语-手势组合开始与儿童在 16 到 18 个月大时发展的词语使用并行出现,最终导致儿童和成人用他们的手和手臂“体现”物体的形状、一组人在集体锻炼中的相对空间位置,甚至是抽象和隐喻的想法。将你的两只手掌合拢,放在你的右耳边,闭上你的眼睛,并将你的头向一侧倾斜——大多数人都会将这种姿势理解为“睡觉”的象征。

无论是在进化过程中言语还是手势先出现,还是在婴儿中哪个先发展,人类都开始依赖多种与言语相关的手势。麦克尼尔在他 1992 年出版的影响深远的著作《手与心:手势揭示思想》中,将与言语相关的手势细分为四种基本类型:指示性手势、象似性手势、隐喻性手势和节拍性手势。

指示性(指向)手势通常伴随着诸如“这里”、“那里”或“这个”以及“我”和“你”之类的词。在每种情况下,说话者都指向一些具体的东西(这张桌子)或一些比喻的东西(“在这种情况下”)。当人们说“我”时,他们经常用稍微张开的手指向自己。即使一个人在没有说“我”的情况下指向自己,我们通常也会认为她是在谈论自己。

象似性手势表达图像。这些动作可能与空间有关,但也与事件有关,例如当有人说“苏西用雨伞追赶猫”时,同时用想象中的雨伞戳来戳去。这些手势可以通过更精确地描绘可怜的动物是如何被赶走的——用刺或拍打的动作——以及猫是向右还是向左跑掉,来提供额外的信息。

隐喻性手势看起来与象似性手势相似,但通常与抽象概念有关。当我们说“下一个话题……”时,我们可能会用半张开的手来定义一个看不见的物体。然后,抽象概念似乎进入了现实世界,在那里它变得有形。但是,如果我们接着说“……暂时搁置”,我们可能会摊平手掌,并将其放在想象中的桌子上,甚至隐喻地将物体从桌子上扫下来。象似性手势和隐喻性手势在其含义上可能变得与词语一样约定俗成;用手擦拭额头上的虚汗意味着“好险!”

最后,我们从政治演讲中熟悉了节拍性手势;与演讲节奏紧密相关的有节奏的手臂或手的动作强调了所说的内容,并为论点赋予了明显的力量,而不管其实际内容如何。

这些约定俗成的手势可以在我们不必说任何话的情况下发挥作用。但麦克尼尔特别感兴趣的是自发手势和口语之间的联系。认知科学家和手势研究的创始人亚当·肯顿在 20 世纪 80 年代假设,两者可能都源于相同的想法,他现在在宾夕法尼亚大学和意大利那不勒斯东方大学之间分配他的时间。他观察到,与言语相关的手势的所谓手势笔划——意义的实际传递者,例如擦汗——在口头附属物发出之前不久或最迟在口头附属物发出时执行。无论是用雨伞赶走猫,还是搁置一个主题,听者都会在口头信息之前获得视觉信息。

根据麦克尼尔的理论,言语产生过程和手势产生过程在共同的心理来源中具有共同的心理来源,其中前语言符号和心理图像的混合物形成了要表达的思想的起点。正如麦克尼尔所称,这个增长点代表了一种种子,词语和手势从中发展出来。

先思考,后手势
麦克尼尔还指出,不同的语系在言语和手势之间如何分配意义成分方面有所不同——至少在指代方向性信息时是这样。在罗曼语族语言(如西班牙语)中,手势笔划更可能与动词耦合,即与“他梯子”中的“爬”(伴随着说话者的手向上移动)耦合。在日耳曼语族语言(如德语和英语)中,相同的手势笔划更可能用于指示动作的地点:“他爬上梯子”(伴随着向上的手部推力)。

麦克尼尔说,这些语言在传达路径信息的方式上显然有所不同。他以前的博士生,现在在芝加哥国立路易斯大学的盖尔·斯坦姆,使用这一发现来确定学习英语的西班牙语使用者是否开始用英语思考。如果他的手势笔划在说英语时继续落在动词“爬”上,他可能仍然在用西班牙语思考,因此纯粹是在翻译。如果手势笔划自发地落在介词“上”上,她会认为向英语思维的过渡已经发生。

科学家们越来越赞赏言语、思想和手势之间的紧密交织,这正在引发关于大脑如何创造和协调这些功能的理论。一个有影响力的新模型来自荷兰奈梅亨马克斯·普朗克心理语言学研究所的心理学家威廉·莱韦尔特。根据莱韦尔特的说法,大脑分三个阶段产生口头表达。首先,大脑将预期的信息概念化为纯粹的前语言信息——作为一个尚未以语言形式表达的概念。在第二阶段,大脑为这个概念找到词语并构建句子——同样,这是一个纯粹的内部过程。只有在第三阶段,发音器官才会发挥作用,通过肺和声带产生所需的表达。

莱韦尔特的一位学生扬-彼得·德·鲁伊特已将手势纳入此模型。他假设最初的概念化阶段也包括手势的视觉先兆。根据德·鲁伊特的说法,大脑会创建手势草图。在第二阶段,草图被转换为手势计划——一组运动指令——从而导致第三阶段的肌肉运动程序。这些程序告诉我们的手臂和手如何移动。

这个模型帮助我们理解为什么手势可能先于它们旨在伴随的言语。词语首先必须被组装成语法上合理的表达,而动作则通过标准运动指令来传达。在诸如“苏西用雨伞追赶猫”这样的句子中,大脑需要时间来构建正确的词序,这比发出“挥舞右臂”的简单运动指令花费的时间更长。

德·鲁伊特正在更详细地检查指点动作的言语和手势之间假定的相互作用。他记录了两个人互相讲故事的对话,并发现扩展的手势——例如当某人向上指向天空时——往往会延迟它所指代的口头表达(“飞机以陡峭的角度上升”)。手势也适应言语;当讲故事的人说错话并短暂地结巴时,预先准备好的手势似乎会被搁置,直到言语部分再次顺利进行。

这些见解表明,理解身体如何交流对于理解口头交流至关重要。口语不是人类传达意义的唯一方式。正如专业的演说家几个世纪以来所知道的那样,一个恰当的手势可能是使观点深入人心的最有效方法。我们越了解身体如何交流,我们就越能成为更好的交流者和观察者。

(延伸阅读)

  • 双模式言语和手势理解的神经相关性。斯宾塞·D·凯利、科琳·克拉维茨和迈克尔·霍普金斯发表于 《大脑与语言》,第 89 卷,第 253–260 页;2004 年。

  • 手势与思想。戴维·麦克尼尔。芝加哥大学出版社,2005 年。

 

双模式言语和手势理解的神经相关性。斯宾塞·D·凯利、科琳·克拉维茨和迈克尔·霍普金斯发表于 《大脑与语言》,第 89 卷,第 253¿260 页;2004 年。

双模式言语和手势理解的神经相关性。斯宾塞·D·凯利、科琳·克拉维茨和迈克尔·霍普金斯发表于 《大脑与语言》,第 89 卷,第 253¿260 页;2004 年。

手势与思想。戴维·麦克尼尔。芝加哥大学出版社,2005 年。

手势与思想。戴维·麦克尼尔。芝加哥大学出版社,2005 年。

SA Mind 第 17 卷 第 5 期本文最初以“手势提供洞察力”为标题发表于 SA Mind 第 17 卷 第 5 期(),第 20 页
doi:10.1038/scientificamericanmind1006-20
© . All rights reserved.