如果(虚拟)现实感觉几乎正确,那就完全错了

如何在VR中添加触觉可能会导致感觉的“恐怖谷”——以及我们能做些什么

加入我们的科学爱好者社区!

本文发表于《大众科学》的前博客网络,反映了作者的观点,不一定反映《大众科学》的观点


我们都记得我们令人愉快的黄色 2 号铅笔棱角分明的边缘,粉笔粉末黑板冰凉光滑的感觉,以及校舍墙壁粗糙的红砖。当然,这一切不仅仅是幻觉吧?

不,当然不是。

但是——事实证明——它有点像是。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。


触觉(实际上,我们所有的感官)或多或少是虚幻的,因为没有一种感觉是孤立存在的。伸出手,打个响指。当然,这感觉非常真实。但是您看到了您的手指,听到了您的手指,并且感觉到了您的手指——所有这些感觉都完全对应。

现在,如果它们不对应呢?

虚拟现实 (VR) 是揭示我们日常感官知觉的这种奇怪而超凡脱俗的基础的绝佳工具。像我们这样鬼鬼祟祟(但当然是非常道德的)实验者可以渲染一个完全由计算机生成的世界。如果我们给您一对可以按命令振动的控制器,我们可以玩一些把戏。

我们甚至可以使用这个简单的装置来产生一种触觉,这种触觉“感觉就像”它起源于您伸出的双手之间的完全空白的空间——我们在我们发表在最新一期科学机器人杂志上的论文中讨论了一个实验

这种 VR 等价于嘉年华的把戏被称为漏斗效应。每个控制器都为用户提供不同幅度的同步振动触觉刺激。在虚拟环境中,我们向参与者展示一个他们用双手抓住的木制销钉。当然,销钉只是想象出来的——双手没有物理连接,销钉也不存在。然后,我们展示一个小白球,当我们改变振动感觉时,它似乎在销钉的不同位置敲击。

图 1:参与者手持虚拟现实控制器上的木制销钉,同时获得不同幅度的同步振动。结果是空间化的触觉错觉,一种“感觉就像”它起源于您伸出的双手之间的完全空白的空间的触觉。 来源:Mar Gonzalez-Franco、Christopher C Berger 和 Ken Hinckley

这就是变得奇怪的地方。即使观看者看不到弹珠,触觉的明显空间位置也会持续存在。您的大脑会填补这些空白和不一致之处——您的手感受到的振动感觉,(有时是想象中的)小白球在两者之间物理空白的空间中的销钉上敲击。一个恰好完全在您自己身体之外的特定空间位置。

图 2:当弹珠可见(绿点)和弹珠不可见(红点)时,参与者都能够高度准确地估计触觉的位置。来源:Mar Gonzalez-Franco、Christopher C Berger 和 Ken Hinckley

这是一个巧妙的感知错觉,但它为什么重要呢?

嗯,在虚拟环境(或机器人远程操作任务)中,产生更高保真度的触觉(即触觉)感觉带有一个(通常未说明的)假设,即这种“改进”将始终产生更真实和身临其境的体验。当弹珠是虚构的时,使用这种漏斗错觉,我们可以证明触觉感觉的“恐怖谷”效应,在我们实验中产生的几乎正确的扭曲触觉感觉。

结果,它们完全错了,沉浸感被打破了。

但是,可以通过巧妙地操纵实验条件来转移或消除这种恐怖谷。例如,如果销钉看起来在一个烟雾缭绕的圆柱体内,从而部分遮挡了敲击的(但不可见的)弹珠的位置,这为触觉感知的感知位置与我们眼睛所见之间的任何差异提供了合理的解释——并且模拟感觉更真实。

同样,可以根据我们是仅仅握住虚拟销钉——从而作为被动参与者体验弹珠的敲击——还是积极地上下移动销钉,从而通过我们自己的动作成为感觉的“主体”来操纵感觉。

尽管目前在我们好奇的 VR 测试平台中得到了证明,但这些效应根植于人类感知。因此,更深入地理解它们有助于我们构建更好、更具说服力的虚拟环境。

About Mar Gonzalez-Franco, Christopher C Berger and Ken Hinckley

Mar Gonzalez-Franco, PhD is a Researcher at Microsoft. Her work is at the intersection of Virtual Reality and Human Perception. In her research she fosters strong immersive experiences using different disciplines: computer graphics, computer vision, avatars and haptics. All while studying human behavior, perception and neuroscience. Follow her on Follow her on Twitter @twi_mar. Christopher Berger, PhD is a Neuroscientist at the California Institute of Technology working on developing novel sensory experiences using sensory augmentation and substitution devices by conducting and applying research that probes the basic psychophysical and neural mechanisms of sensory perception. Follow him on Twitter @c_c_berger. Ken Hinckley, Ph.D. is Principal Research Manager of the EPIC (Extended Perception, Interaction, and Cognition) research group at Microsoft Research. His work explores how to reduce the impedance mismatch between humans and technology. This often involves new ways of interacting with devices via sensors, multi-modal inputs, and rich sensory cues. Follow him on Twitter @ken_hinckley.

More by Mar Gonzalez-Franco, Christopher C Berger and Ken Hinckley
© . All rights reserved.