静物艺术家知道，为了使物体的图像看起来像真品，他们必须考虑到光线从物体上的反射方式。这些闪光的 appearance——它们的颜色、位置和亮度——受到物体周围环境的影响。而这种效应意味着物体反过来可以揭示其环境的关键方面。研究人员现在发现，通过拍摄一个闪亮物体的简短视频片段，他们可以使用从物体上闪烁的光线来构建其周围房间的粗略图像。结果出奇地准确，无论反射来自碗、圆柱体还是皱巴巴的薯片袋。
用于重建环境的数学模型也可以近似已知物体在新环境中或从新角度观察时的外观——光线将如何从其上反射。这两个应用是相关的。“我们研究领域的挑战在于一切都如此纠缠，”华盛顿大学图形和影像实验室 (GRAIL) 的博士生郑俊朴 (Jeong Joon Park) 说。“你需要解决光照问题才能获得良好的外观。你需要有一个良好的外观模型才能获得良好的光照。答案可能是将它们全部一起解决——就像我们所做的那样。”
朴的研究团队今年早些时候在服务器 arXiv.org 上发布了其研究的预印本 。该论文也被接受在下一届年度 IEEE 计算机视觉和模式识别会议上展示，该会议将于六月远程举行。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保关于塑造我们今天世界的发现和想法的具有影响力的故事的未来。
朴说，这项新工作可以帮助设计师构建更逼真的增强现实和虚拟现实景观。例如，在 Zoom 视频通话中，许多人应用人工背景，其照明与实际用户的照明不匹配。环境重建技术可以修改背景，使真实的面部更好地融入虚拟环境。
两张图像显示了同一个房间：一张是从房间内薯片袋的视频片段重建的（顶部），另一张是直接拍摄的（底部）。图片来源：郑俊朴
在另一个例子中，增强现实应用程序可能难以描绘一件家具在用户的客厅中的外观：它可能看起来更像卡通剪纸而不是坚实的固定装置。朴说，他的团队的模型可以使其看起来好像该物品实际上在房间里。“你必须对你的环境进行一些估计，才能照亮这个虚拟物体，”他说。“而且[光照]越准确，虚拟物体就会越好。”
这项技术也适用于虚拟现实。在虚拟现实景观中，用户可能会戴着头戴式耳机在人工场景中走动，或者“拿起”数字文物并在手中翻转它。当他们这样做时，该物品的外观应该会改变——就像在现实世界中一样——因为环境光条件。朴说，他的团队的系统可以计算出光线的特征，以便“为您提供场景任何视点的非常逼真的外观估计。”
这个过程称为视图重建或新颖视图合成。朴的团队正在尝试“提出一种合成或生成您以前从未见过的物体的视图的方法，”魁北克拉瓦尔大学电气和计算机工程副教授让-弗朗索瓦·拉隆德说，他没有参与这项新研究。“您从不同的方向观察一个特定的物体。然后你想知道，如果您从您以前没有看到的不同方向看到该物体，它会是什么样子。” 拉隆德解释说，之前的研究使用两种不同的技术解决了这个问题。最早的尝试使用物体的几何形状以及物理定律来计算光线和颜色如何随着视角的移动而变化。然后，“在过去的两三年左右，我们看到了另一组方法，试图提出一种不同的世界建模方式，”他说。最近的方法使用深度学习算法来记忆物体的外观，并预测其外观在不同视角下会如何变化。
重建的环境（顶部）包括诸如这个人像之类的细节。图片来源：郑俊朴
这项新研究依赖于两种技术类型的结合。拉隆德说，这样做可以让研究人员“利用物理推理的优势，以及深度学习带来的统计推理的力量”。“他们正在将更多的物理推理嵌入到[深度]学习过程中，这使他们能够获得更高质量的结果。”
朴和他的同事通过使用他们的新颖视图合成方法来重建周围环境的图像，从而对该方法进行了测试。他们使用摄像机拍摄了各种物品——前面提到的薯片袋，以及汽水罐、陶瓷碗甚至猫雕像——然后使用他们的模型重建了产生这些反射的环境。结果非常逼真。更可预测的是，镜子般的物体产生了最准确的图像。“起初，我们非常惊讶，因为我们恢复的一些环境具有我们用肉眼看薯片袋无法真正识别的细节，”朴说。
他承认，这项技术有一个明显的缺点：有可能将一张无害的照片变成侵犯隐私的行为。如果研究人员能够根据反射完美地重建环境，那么任何包含闪亮物体的图像都可能无意中泄露比摄影师预期的多得多的信息。朴建议，随着技术的进步，其开发者应该牢记这个问题，并积极努力防止侵犯隐私。
他还指出，然而，这些图像目前相对模糊。“我希望未来的工作将以我们的工作为基础，以提高环境和场景重建的质量，”朴说。“我的长期目标是重建真实世界。这不仅包括良好的可视化，还包括能够与虚拟环境互动。”