本文发表于《大众科学》的前博客网络,反映了作者的观点,不一定反映《大众科学》的观点
生存还是毁灭?几个世纪以来,观众一直为这些不朽的台词所感动,与哈姆雷特的生存困境产生共鸣。威廉·莎士比亚是唤起人们强烈情感的大师,现在观众们有机会通过各种生物反馈技术反过来影响演出。
《指挥莎士比亚》于今晚首秀, 5月2日在伦敦的维多利亚和阿尔伯特博物馆举行,作为庆祝这位剧作家诞辰450周年活动的一部分。(詹-吕克·皮坎特指出,实际上,考虑到伦敦和洛杉矶(我发布这篇文章的地方)的时差,它很可能已经首秀了。)这是亚历克西斯·柯克的创意,他是普利茅斯大学计算机音乐跨学科研究中心 (ICCMR) 的音乐常驻研究员,也是普利茅斯海洋研究所的常驻作曲家。
多年来,柯克一直在创作巧妙的融合艺术与科学的多媒体表演作品,其中许多作品涉及某种形式的数据声音化。例如,“阳光交响曲”将一栋标志性的校园建筑变成了一种由冉冉升起的太阳演奏的乐器,而“洞察力”则看到柯克(他患有一种称为视后像的视觉疾病)通过 iPad 模拟他的幻觉,并将其转换为声音,与长笛演奏家进行“二重奏”。
关于支持科学新闻报道
如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
他还制作了一部短片《多重世界》,其中包含四个不同的剧本。来自现场观众的生物反馈读数决定了观众体验到的四个结局中的哪一个。他还创作了“云雾室”,这是一首为小提琴和亚原子粒子而作的二重奏,这些粒子是通过一个工作云雾室实时探测到的。摄像机记录了宇宙射线的轨迹,并将其转换为合成音乐,作为小提琴家的伴奏。
柯克从观看帕特里克·斯图尔特和伊恩·麦克莱恩等伟大的莎士比亚演员表演独白的 YouTube 视频中获得了他当前项目的灵感。诚然,莎士比亚式的措辞有时可能有些晦涩难懂,“但一位优秀的演员可以让这种语言栩栩如生,”他在一周左右前与我聊天时告诉我。
他想将同样的 эмоциональный 冲击力带入《指挥莎士比亚》,并为此目的聘请了吉尔福德音乐与戏剧学院的两位应届毕业生:梅兰妮·赫斯洛普和詹姆斯·麦克。
柯克与莎士比亚学者彼得·海因兹合作,从《罗密欧与朱丽叶》、《麦克白》、《哈姆雷特》和《泰特斯·安德洛尼克斯》中选择了 18 段莎士比亚独白用于演出本身,这些独白将根据他从四位预选观众成员那里获得的生物反馈进行混合和匹配。这四位观众将坐在特殊的椅子上,并配备各种生物传感器来监测他们的心率、皮肤电反应(GSR,或出汗)、肌肉紧张度和脑电图读数。他计划通过播放一些纯低频正弦波来设置基线——在 32 赫兹左右时听不见,但具有镇静效果。
虽然参与者会意识到这些附加元素,“我不希望它感觉像一个科学实验,”柯克说。“它应该是一种强烈的戏剧体验,并带有一点点科学的点缀。”
为了解释所有这些生物反馈,柯克借鉴了一种称为效价/唤醒模型的工具,这是认知心理学中用于区分不同类型情绪反应的常用工具——量化地确定情绪反应是出了名的困难。(诚然,人类的情绪是丰富多样的,跨越的维度远远超过区区两个维度,但从统计学上讲,唤醒和效价是最广泛的通用类别。)
唤醒轴测量的是身体中与反应性心理状态相关的生理反应,使用了柯克在《指挥莎士比亚》中使用的生物反馈工具类型。柯克的重点是唤醒,因为效价更难评估——甚至更难定义。
它涉及某种价值判断,即,给定的情绪有多么令人向往?例如,快乐和喜悦在效价轴上都会被认为是积极的情绪,但喜悦更强烈。因此,喜悦将是积极的高效价,而快乐将是积极的低效价。效价通常通过用其他观察方法(如肢体语言或面部表情)补充生物反馈来测量——这些方法很容易被误解。
在某种程度上,《指挥莎士比亚》只是柯克众多古怪艺术尝试中的最新一项,但它最终可能会反馈到他的研究中。首先,这些读数将提高他构建的唤醒测量系统的准确性,并且从对人类情感运作方式获得的任何见解都可能增强他正在进行的关于人工智能的工作——特别是在情感计算领域,由此可以设计一种机器来检测和响应用户的情绪状态。可以将其视为一种模拟的同理心。
为了进一步实现这一目标,他和他的同事正在开发一种用于音乐创作的生物反馈机器学习算法系统。“从某种意义上说,这有点像音乐药丸,因为我们知道音乐的声音会对人们的情绪和精神状态产生多大的影响,”他说。这个想法是用声音刺激人们,测量他们的大脑反应,并使用机器学习算法来确定哪种生成的声音或音乐最强烈地影响情绪反应。使用这些数据,“您可以根据某人的反应,设计出某人思维的情绪地图。”
这也不是柯克的艺术第一次为他的科学提供信息。几年前,他招募了一位萨克斯管演奏家与活体人工智能座头鲸二重奏,模仿野外生物的歌曲。它在普利茅斯海洋研究所演出,很快引起了圣安德鲁斯科学家的注意。现在有一个真正的科学研究合作项目,旨在利用这些数据进行进一步研究。
话虽如此,“我认为你可以永远分析表演工具的属性,”柯克说。“我想亲身实践,可以说,并在表演中实际使用它们。真正让我兴奋的是开发模型。” 期待看到柯克继续模糊他的艺术和科学之间的界限——这对我们其他人来说意味着一场好戏。