增强现实游戏“宝可梦Go”可能是目前最热门的手机游戏,但根据一项新的研究,计算机科学的新进展未来可能会给玩家带来更真实的体验。事实上,研究人员表示,一种新的成像技术可以帮助虚构角色(如宝可梦)看起来能令人信服地与真实物体互动。
研究人员说,一种名为交互式动态视频的新成像技术可以拍摄真实物体的照片,并快速创建视频模拟,让人或3D模型可以虚拟地与之互动。研究人员补充说,除了推动游戏开发,这些进展还可以帮助模拟真实的桥梁和建筑物在潜在的灾难性情况下可能如何反应。
智能手机游戏“宝可梦Go”将图像叠加到真实世界上,以创建混合现实。这款游戏的流行趋势紧随计算机生成图像融入电影和电视节目的数十年潮流。然而,虽然可以在视频屏幕上在真实环境中移动的3D模型现在很常见,但让计算机生成的图像看起来像是在与真实物体互动仍然是一个挑战。研究人员说,构建真实物体的3D模型成本高昂,而且对于许多物体来说几乎是不可能的。[
关于支持科学新闻
如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保未来关于塑造我们今天世界的发现和想法的具有影响力的故事。
超越游戏:虚拟现实技术的其他10个迷人用途]
现在,研究人员说,交互式动态视频可以弥合这一差距。
麻省理工学院计算机科学和人工智能实验室的计算机科学家、该研究的主要作者Abe Davis说:“当我提出并测试这项技术时,我很惊讶它效果如此之好。”
分析运动
这项新技术使用摄像头分析物体微小的、几乎无法察觉的振动。例如,对于窗帘,“事实证明,它们几乎总是在移动,只是由于室内房间的自然气流造成的,”Davis告诉Live Science。
物体振动的独特方式或“模式”有助于计算机模拟如果外力与之相互作用,它可能如何进行物理行为。“大多数物体在形状没有永久性改变的情况下都可以振动和移动一定幅度,”Davis说。“举个例子,我可以敲击树枝,它可能会摇晃,但这与弯曲它直到它断裂是不同的。我们观察到这些类型的运动,即物体从其中反弹以返回静止状态的运动。”
在实验中,Davis将这项新技术应用于各种物体的图像,包括桥梁、丛林健身房和尤克里里琴。只需点击几下鼠标,Davis就表明他可以将这些图像在不同方向上推拉。他甚至表明他可以使其看起来好像他可以用意念控制灌木的叶子。
研究人员说,即使是5秒的物体振动视频也足以创建逼真的模拟。科学家说,所需的时间取决于振动的大小和方向。
“在某些情况下,自然运动可能不够,或者自然运动可能只涉及物体可以移动的某些方式,”Davis说。“幸运的是,如果你只是击打一个物体,那种突然的力往往会同时激活物体可以移动的多种方式。”
新工具
Davis和他的同事说,这项新技术在娱乐和工程领域有许多潜在用途。
例如,交互式动态视频可以帮助虚拟角色,例如“宝可梦Go”中的角色,以特定的、逼真的方式与其周围环境互动,例如从附近灌木的叶子上弹开。它还可以帮助电影制作人创建与环境真实互动的计算机生成角色。Davis说,这可以在更少的时间内完成,而且成本只是使用当前需要绿屏和虚拟物体详细模型的方法所需成本的一小部分。
“计算机图形允许我们使用3D模型来构建交互式模拟,但这些技术可能很复杂,”加利福尼亚州斯坦福大学的计算机科学教授Doug James在一份声明中说,他没有参与这项研究。“Davis和他的同事提供了一种简单而巧妙的方法,可以从视频中非常微小的振动中提取有用的动态模型,并展示如何使用它来动画图像。”
建筑物和桥梁等主要结构也会振动。研究人员说,工程师可以使用交互式动态视频来模拟这些结构在强风或地震中可能如何反应。[美国历史上10起最严重的工程灾难的教训]
“摄像头不仅可以捕捉物体的外观,还可以捕捉其物理行为,”Davis说。
但是,这项新技术确实有局限性。例如,它无法处理看起来形状变化太大的物体,例如在街上行走的人,Davis说。此外,在他们的实验中,研究人员使用了安装在三脚架上的固定摄像头;他们说,在可以使用可能握在颤抖的手中的智能手机摄像头应用此方法之前,还有许多技术障碍需要克服。
“此外,有时需要一段时间来处理视频以生成模拟,因此在像‘宝可梦Go’这样的应用程序中即时工作之前,还有很多挑战需要解决,”Davis说。“尽管如此,我们通过我们的工作表明,这种方法是可行的。”
Davis将于8月晚些时候发表这项工作,作为他的博士论文的一部分。
版权所有 2016 LiveScience,一家Purch公司。保留所有权利。此材料不得发布、广播、改写或重新分发。