简易手机:为听障人士设计的移动电话

研究人员开发出压缩数据的软件,允许使用实时视频通过手机传递手语。但美国手机公司会接受吗?


关于支持科学新闻报道

如果您喜欢这篇文章,请考虑订阅以支持我们屡获殊荣的新闻报道。 订阅。通过购买订阅,您将帮助确保有关当今塑造我们世界的发现和想法的重要故事的未来。


在美国,手机的便利性和相对较低的成本使其成为生活中不可或缺的一部分。当然,除非您是该国大约3700万听障成年人中的一员。但是,西雅图华盛顿大学(U.W.)的研究人员希望通过开发一款软件来改变这一现状,该软件允许呼叫者使用实时视频通过手机上的手语进行交流,而不是仅限于短信。

目标:听障人士将能够使用蜂窝网络上的视频流拨打或接听电话,以交换手语消息。一些国家/地区(包括瑞典和日本,3G(第三代,更高带宽)网络无处不在)正在尝试这些功能;在美国却并非如此,美国的无线宽带服务覆盖范围直到最近才开始与欧洲的手机服务相媲美。这意味着:大多数美国手机网络缺乏处理流媒体视频所需的带宽。因此,手机制造商没有提供许多具有足够处理能力来流畅运行视频的型号,并且美国手机中的数码相机位于显示屏的另一侧(这将使得在交换手语时无法看到线路另一端的人)。

华盛顿大学电气工程教授伊芙·里斯金及其同事正专注于数据压缩,这是允许视频在较慢的网络上流动并在功能较弱的手机上显示的关键。里斯金说,该小组的MobileASL(美国手语)软件对视频数据的编码量几乎是以前的两倍,从而压缩了这些信息,“使其占用更少的空间,并减少了对网络的干扰。”

研究人员能够通过他们称之为“皮肤映射”的算法来实现高压缩率,该算法可以分析像素颜色以区分图像中人的脸部和手部。由于这些是传达手语的图像中最重要的部分,因此代表这些区域的数据将以全部分辨率发送(从而获得更高的分辨率),而代表背景和视频帧其他无生命部分的一些数据包将被丢弃,从而获得较低的分辨率。

参加该项目的华盛顿大学研究生蔡载洪(音译)说:“为了节省电池寿命,减少网络上发送的数据包数量,并提高手语方面的质量,我们开发了基于皮肤图和帧丢弃的ROI(感兴趣区域)编码,如果用户没有打手语。”

里斯金及其同事利用国家科学基金会(NSF)超过460,000美元的资助开发了MobileASL,以创建在较低带宽下实现更高质量视频的算法。她说:“我们想知道我们是否可以在手机上做到这一点。” 研究人员在YouTube上发布了一个网络视频,演示了通过Wi-Fi网络连接的MobileASL手机,因为当前的蜂窝网络无法支持流媒体视频。

自2月份以来,研究人员一直在两款HTC(高科技电脑)公司的TyTN II手机上测试他们的MobileASL软件。这些手机在美国可以通过AT&T购买,但在欧洲更常见,每部售价900美元,并且摄像机与视频屏幕位于同一侧,这允许呼叫者在使用手语通话时观察线路另一端的人的反应。MobileASL在运行Microsoft Windows Mobile操作系统的手机上运行,可以自动检测到呼叫者何时正在使用手语,并提高其在网络上发送和接收数据的速度。(当没有人打手语并且数码相机拍摄的大部分图像都是无生命的物体时,该软件会降低比特率以节省电池电量。)

可以一只手拿着MobileASL手机,另一只手打手语,但是使用该手机的最佳方法是将其放在平面上,以防止可能降低质量的移动。“您希望尽可能减少移动,因为移动会影响处理数据所需的时间,并且需要更多的带宽,”密歇根州立大学电信,信息研究和媒体教授凯莉·希特说。希特是该校研究团队的成员,该团队于1996年推出了ASL浏览器,这是一个提供数千个将单词翻译成ASL符号的视频的网站。

里斯金将使用国家科学基金会的第二笔赠款(这次价值45万美元)在明年进行更广泛的研究,该研究将包括大学生和从大西雅图地区招募的精通ASL的参与者。20位参与者中的每一位都将收到一部手机,很可能是HTC TyTN II,因此研究人员可以研究他们如何使用其手语功能以及使用频率。尽管大学参与者将使用学校的Wi-Fi网络进行通话,但研究人员尚未确定如何为校外参与者提供网络服务。

研究人员希望在六个月内通过网络向听障人士提供他们的软件,并从长远来看,说服AT&T、Verizon Wireless、Sprint或T-Mobile等蜂窝网络提供商将MobileASL作为其服务的一部分。里斯金说,在美国使用MobileASL的最佳方法是让手机公司将该算法放入他们的手机中,并通过他们的网络发送ASL视频。

© . All rights reserved.