魔力手指:双手深入多点触控技术

Perceptive Pixel 首席科学家杰斐逊·汉恩对改变人们使用计算机的方式有着宏大计划


关于支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道: 订阅。通过购买订阅,您正在帮助确保未来能够继续讲述关于塑造我们当今世界的发现和想法的具有影响力的故事。


在曼哈顿西区的 Perceptive Pixel 办公室,杰斐逊·汉恩站在一个超大多点触控屏幕前,用指尖划过显示屏。每个手指都在其身后留下一道彩色像素的轨迹,使得显示屏短暂地看起来像是被一组数字爪子抓过一样。

汉恩于 2006 年创立了 Perceptive Pixel 公司,并担任公司的首席科学家。接下来,他用食指在 100 英寸的显示屏上画了一个圈。这会在屏幕上弹出一个选项菜单,与使用鼠标点击下拉菜单没有太大区别。当然,汉恩不需要鼠标或键盘。他选择了他菜单中的一个选项,这些选项排列成一个类似于他画出的圈的形状,然后他就开始操作了。

Perceptive Pixel 的技术最出名的是它在帮助有线新闻网络 CNN 创建其 “魔力墙” 中所起的作用,“魔力墙”是 2008 年总统选举期间该网络报道投票结果时使用的动态、实时的图形化呈现。虽然汉恩承认多点触控在诸如苹果 iPhone 等小工具层面“很有趣”,但只有当您能够用双手操作显示屏上的对象时,这项技术才能真正发挥其作用。

创建使多点触控正常工作的软件是开发这些系统中最困难的部分。“界面本身就是一种范式转变,”他说。“你不能只是把软件硬塞到现有的硬件上。” 因此,汉恩和他的同事们基本上为触敏技术创建了新的操作系统,该系统可以识别无限数量的触点——理想情况下,允许多个用户同时操作同一个显示屏。

我们与汉恩坐下来,讨论了他对多点触控技术的看法、它与消费电子设备制造商提供的技术有何不同,以及这项技术的未来发展方向。

[以下是经过编辑的采访记录。]是什么促使您开始研究和开发多点触控传感技术? 用户与计算机的界面,而不是后端处理能力,已经成为用户的瓶颈,用户通过吸管(鼠标和键盘的形式)访问信息。输入需要更多关注,但向人们强加新的界面非常困难。尽管如此,当您看到计算出现在更多地方时,人们意识到您可以要求更多,而不仅仅是键盘。尽管我非常讨厌[电影]少数派报告,但它对人们意识到计算不仅仅是一次只做一件事,您也可以伸出另一只手并使用它产生了一些影响。接近新界面的一种方法是问:“孩子会怎么使用这个?”
  您的多点触控工作如何建立在您之前在计算机图形学、机器学习、实时计算机视觉和人机界面领域的研究之上? 我的兴趣在于视觉,这真的是我开始编程,特别是计算机图形学的原因。图形学最近已经大大转向机器学习,而机器学习本身是关于理解数据的。这就是计算机视觉工作来源的地方。计算机视觉是计算机图形学的逆问题。不是告诉计算机世界的状态是什么,而是计算机必须[例如,使用视觉线索]弄清楚。您如何让计算机理解场景?您如何清理计算机接收到的传感器信息?这样做需要使用强大的工程和数学组件。
智能手机、平板电脑和其他消费电子产品的未来与多点触控传感技术的进步有多密切的联系? 由于硬件已经变得相当不错,硬件本身不再是差异化的因素;关键在于设计(终于)。如果您观察像索尼和三星这样的公司的成长,他们首先关注功能,然后是工业设计,这使他们的产品看起来和感觉更好。现在我们正处于软件层面的工业设计阶段。
  多点触控传感在哪些方面帮助人们更好地利用消费电子产品的进步? 消费设备仍然没有充分利用多点触控的所有功能。去年 12 月,微软让许多 PC 公司在其产品中添加了多点触控功能,以配合 Windows 7 的发布。但是他们不应该在没有充分利用[多点触控界面]的方式的情况下发布这些设备。这正是平板电脑消亡的原因。
  Perceptive Pixel 的多点触控技术是如何工作的? 这是一种光学技术。在光纤中,电缆是光导管或波导,您将光注入其中。如果手指按压管道,它会扰乱波导内的光。[Perceptive Pixel 的]大型显示屏有一个大的平面波导。每当我们的屏幕被触摸时,这会在波导上[在显示屏上的特定位置]引起扰乱或“受抑全反射”,传感器会拾取到这种扰乱。这种类型的传感器设计具有特别高的分辨率、高保真度和相当的可扩展性。
  Perceptive Pixel 的技术与苹果在其 iPhone、iPod Touch 和 iPad 中使用的技术相比如何? 有很多不同的方法可以进行触摸感应。在 iPhone 中,他们测量显示屏顶部导线网格之间的电容。当您将手指放在那里时,它会改变导线交叉点处的电容。这很微妙但可以很容易地测量。这种方法更难扩展,并且不适用于任意手写笔或当您戴着手套时。
  在为多点触控开发设备制造商可以达成一致的通用标准方面取得了多大进展? Windows 7 尝试创建一种标准,规定如何将数据从硬件传输到软件,但还需要做更多工作。更广泛的问题是,我们如何为用作多点触控一部分的模式制定标准?这样的标准意味着您将在每个多点触控设备上使用相同的手势。这将是一个我相信不会通过有组织的运动来解决的问题。更有可能通过特定技术实例的统治地位来解决。
  CNN 在 2008 年总统选举的报道中广泛使用了您的多点触控屏幕。您与 CNN 的关系是如何建立的?您对这项技术在 CNN 的使用有何看法? 我在一次地理情报贸易展上遇到了 CNN。我们最初的工作重点是地图绘制,CNN 建立了联系,并希望将其用于他们即将到来的选举报道,当时距离选举还有一年多的时间。我为 CNN 使用这项技术的方式感到非常自豪——他们将其作为帮助他们报道选举的工具,而不是让技术本身成为目的。[CNN 记者]约翰·金能够像老师在教室里一样使用显示屏。金最终做出的最伟大的事情之一是即使在他不上镜头时也在显示屏上工作。
目前多点触控技术有哪些局限性? 一个领域是显示屏尚不知道哪个接触点来自哪个用户。目前,如果您在一个大屏幕上工作,有人可能会走到您旁边并干扰您正在进行的工作。现在我们必须依靠社会习俗[想想个人空间]来避免这种情况。我们希望能够了解每个人如何使用显示屏。关键是要更多地了解触摸点,而不仅仅是实际的触摸。

© . All rights reserved.