动手计算:多点触控屏幕如何改变我们与计算机和彼此互动的方式

iPhone 甚至更狂野的界面可以改进协作,无需鼠标或键盘

去年,当苹果公司的 iPhone 上市时,它向公众介绍了所谓的“多点触控”屏幕。屏幕上的图像可以用指尖移动,通过将两个指尖放在图像的边缘,然后将手指分开或靠拢,可以放大或缩小图像。这种界面提供的触觉乐趣及其效用迅速为它赢得了赞誉。操作感觉直观,甚至性感。但在 iPhone 发布时,世界各地的实验室中,多点触控屏幕已经远远超越了双指命令。工程师们已经开发出更大的屏幕,可以同时响应 10 个手指,甚至来自多人的多只手。

很容易想象摄影师、图形设计师或建筑师——这些必须处理大量视觉材料并且经常团队合作的专业人士——会欢迎这种多点触控计算。然而,这项技术已经应用于更广泛的场景,在这些场景中,任何没有经过培训的人都可以在头脑风暴会议中伸出手来移动或标记物体和计划。

感知像素
杰夫·汉(Jeff Han)是纽约大学的咨询计算机科学家,也是纽约市 Perceptive Pixel 公司的创始人,他处于多点触控技术的最前沿。走进他公司的游说大厅,一个三乘八英尺的平板屏幕映入眼帘。汉走到电子墙前,仅用手指触摸就释放出一个图像世界。多达 10 个或更多的视频源可以同时运行,并且看不到任何工具栏。当汉想要显示器访问不同的文件时,他点击两次,调出也可以点击的图表或菜单。


支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道: 订阅。通过购买订阅,您正在帮助确保未来能够持续报道关于发现和塑造我们当今世界的想法的具有影响力的故事。


一些早期采用者已经购买了完整的系统,包括需要快速比较战情室中地理协调的监视图像的情报机构。美国有线电视新闻网 (CNN) 的新闻主播在总统初选报道期间使用了 Perceptive Pixel 大型系统,该系统大胆地展示了美国所有 50 个州;为了描绘投票结果,主播们站在屏幕前,只需在地图上移动手指即可戏剧性地放大和缩小州甚至县。

微软研究院的首席研究员比尔·巴克斯顿(Bill Buxton)表示,关于多点触控界面的初步研究可以追溯到 20 世纪 80 年代早期。但在 2000 年左右,在纽约大学,汉开始了一段旅程,以克服该技术最棘手的障碍之一:实现精细分辨率的指尖感应。该解决方案需要硬件和软件创新。

也许最基本的是利用一种称为受抑全内反射 (FTIR) 的光学效应,该效应也用于指纹识别设备。汉形容自己是“一个非常注重触觉的人”,有一天当他透过装满水的玻璃杯看东西时,他意识到了这种效应。他注意到,当从陡峭的角度透过水观察时,他在玻璃杯外侧的指纹显得多么清晰。他想象,电子系统可以通过光学方式跟踪放置在透明电脑显示器表面上的指尖。因此,他开始了对多点触控界面为期六年的沉迷。

他首先考虑构建一个非常高分辨率版本的单点触控屏幕,用于自动柜员机和信息亭,这些屏幕通常感应手指触摸屏幕上预定义点的电容。但是,跟踪随机移动的手指将需要在屏幕后面安装大量的线路,这也将限制屏幕的功能。汉最终设计了一块矩形透明丙烯酸板,它就像一个波导,本质上是一根光波管道。边缘周围的发光二极管 (LED) 将红外光泵入板材。光线穿过,在板壁上内部反射,就像光线流过光纤一样。没有光线泄漏出来。但是,当有人将手指放在板材的一个面上时,一些内部反射的光束会击中它并散射出去,穿过板材并从另一面射出。屏幕后面的摄像头会感应到这种泄漏的光,即 FTIR,从而显示被触摸的位置。摄像头可以同时跟踪来自多个点的这种泄漏。

汉很快发现,丙烯酸面板也可以用作扩散屏;面板后面的投影仪连接到计算机,可以将图像投射到面板上,图像会扩散到另一侧。因此,屏幕既可以用作图像的输出,又可以用作对该图像进行触摸的输入。

感应手指的确切位置是一个挑战。设计能够跟踪手指移动并将其转换为屏幕上图像应发生什么变化的指令的软件例程更具挑战性。与汉合作的六名软件开发人员必须首先编写一个可以充当高性能图形引擎的软件,部分原因是当手指在屏幕上快速拖动对象时,使显示器具有低延迟或重影。然后,他们必须处理屏幕上从手指随机方向扫过的非正统 FTIR 光输出。

计算机操作系统的深层架构中有一个假设,即用户的输入将来自键盘或鼠标。击键是明确的;“q”表示“q”。鼠标的移动表示为笛卡尔坐标——二维网格上的xy位置。这种表示输入的方法属于一个称为图形用户界面 (GUI) 的通用学科。汉的多点触控屏幕同时生成 10 个或更多 x 和 y 坐标流,“传统的 GUI 实际上并非为如此多的同时性而设计的”,他指出。当前的操作系统——Windows、Macintosh、Linux——都非常依赖于单个鼠标光标,以至于“我们不得不拆除很多管道来构建一个新的多点触控图形框架”,汉说。

在所有这些工作中,汉发现也可以实现压力感应,方法是在丙烯酸屏幕的正面应用一层薄薄的聚合物,其表面上设计有微观脊。当用户在聚合物上的任何位置用力或轻轻按压时,它会稍微弯曲,指纹区域会变大或变小,导致散射光变亮或变暗,摄像头可以感应到这一点。通过保持对屏幕上物体的稳定压力,用户可以将其滑到相邻物体的后面。

汉的 Perceptive Pixel 团队成立于 2006 年,他们将所有元素组合在一起,并在当年 TED(技术、娱乐和设计)会议上向热情的观众展示了该系统。从那时起,该系统的订单稳步增加。Perceptive Pixel 没有透露价格。

微软触控 Surface
当汉在完善他的设置时,其他地方的工程师也在通过不同的方式追求类似的目标。软件巨头微软现在正在推出一款名为 Surface 的较小的多点触控电脑,并试图将这种硬件类别打造为“表面电脑”。该计划可以追溯到 2001 年,当时微软硬件公司的 Stevie Bathiche 和微软研究院的 Andy Wilson 开始开发一种交互式桌面,可以识别放置在其上的某些物理对象。两位创新者设想,该桌面可以用作电子弹球机、视频拼图或照片浏览器。

经过 85 个以上的原型,这对搭档最终开发出了一款桌面,该桌面具有透明的丙烯酸顶部,并在地板下方装有投影仪。投影仪将图像向上投射到水平的 30 英寸屏幕上。红外 LED 也向上照射到桌面,从另一侧的手指或物体上反弹,从而使设备能够识别来自人们手指的命令。Windows Vista 计算机提供处理能力。

微软正在向休闲、零售和娱乐行业的四个合作伙伴交付 Surface 桌面电脑,微软认为这些行业最有可能应用这项技术。例如,喜达屋酒店集团的喜来登连锁酒店将尝试在酒店大堂安装 Surface 电脑,让客人浏览和收听音乐、发送数字照片回家或订购食物和饮料。T-Mobile 美国零售店的顾客将能够通过简单地将不同的手机型号放在 Surface 屏幕上来比较它们;手机底部的黑色圆点“多米诺骨牌”标签将提示系统显示价格、功能和手机套餐详细信息。其他微软软件将允许无线数字相机在放置在 Surface 电脑上时,无需电缆即可将其照片内容上传到电脑。

第一代 Surface 系统的价格从 5,000 美元到 10,000 美元不等。与大多数电子产品一样,该公司预计随着产量的增加,价格会下降。微软表示,Surface 电脑应该在三到五年内以消费者价格上市。

三菱电机也加入其中
技术开发人员可能对位于马萨诸塞州弗雷明汉市的初创公司 Circle Twelve 的 DiamondTouch 桌面感兴趣,该公司最近从三菱电机研究实验室剥离出来。该桌面在三菱电机开发,其配置方式允许外部方为其设想的应用编写软件;数十台桌面已经掌握在学术研究人员和商业客户手中。

三菱电机的营销副总裁亚当·博格(Adam Bogue)表示,DiamondTouch 的目的是“支持小组协作”。“多人可以互动,系统知道谁是谁。” 几个人坐在围绕桌子放置的椅子上,这些椅子连接到下方的计算机。当其中一个人触摸桌面时,嵌入屏幕中的天线阵列会通过人的身体和椅子向计算机中的接收器发送极少量的射频能量,这是一种称为电容耦合的方案。或者,可以使用特殊的脚垫来完成电路。耦合的天线指示该人触摸的屏幕上的点。

虽然看似具有限制性,但这种设置可以跟踪谁进行了哪些输入,并且可以将控制权交给第一个触摸屏幕的人。在这种情况下,它将忽略通过指定座位感应到的其他触摸,直到第一个用户完成其输入为止。该系统还可以跟踪谁对图像(例如蓝图)进行了哪些注释。

全球工程公司 Parsons Brinckerhoff 总部位于纽约市,该公司一直在试验这些桌面,并计划购买更多。“在一个大型项目的过程中,我们可能会召开数千次会议,”该公司可视化部门区域经理 Timothy Case 说。“我们可以在多个地点设置多个桌面,每个人都可以看到相同的内容。”

DiamondTouch 和 Perceptive Pixel 系统都具有键盘“模拟器”,可以将虚拟键盘投射到屏幕上,以便人们可以打字。但是,爱好者似乎不太可能喜欢将动态系统用于这种平凡的活动。多点触控的最大优势是让多人一起完成复杂的活动。很难回忆起大约 25 年前,当鼠标将人们从键盘箭头键中解放出来时,鼠标显得多么解放。很快,多点触控界面就可以帮助我们将自己从无处不在的鼠标中解放出来。“你很少遇到真正全新的用户界面,”汉说。“我们只是处于这一切的开端。”

注意:本文最初以“动手计算”为标题发表。

Buy This Issue

多点触控系统的详细历史

观看 Perceptive Pixel 系统的视频演示

大众科学杂志第 299 卷第 1 期本文最初以“动手计算:多点触控屏幕如何改变我们与计算机和彼此互动的方式”为标题发表于大众科学杂志 第 299 卷 第 1 期 ()
doi:10.1038/scientificamerican072008-2Fta5jL2fUeJtuwsAzKusJ
© . All rights reserved.