盯着任何房间的空白墙壁，你不太可能了解到比油漆颜色更多的信息。但是一项新技术可以不显眼地扫描同一表面，以获取人眼无法察觉的阴影和反射，然后分析它们以确定细节，包括房间里有多少人以及他们在做什么。这种工具可以从空间的局部视图中推断信息，也许可以窥探角落周围的活动或监视躲避摄像头视线的人。
当人们在房间里移动时，他们的身体会阻挡一部分可用光线，从而在墙壁上产生微妙而不清晰的“柔和阴影”。色彩鲜艳的衣服甚至可以投射出微弱的反射光。但是，这些微弱的信号通常会被主要的环境光源淹没。“如果我们能够做一些事情，比如从我们观察到的任何东西中减去这个环境项，那么你只会剩下摄像头噪声——和信号，”麻省理工学院的研究生普拉富尔·夏尔马说。夏尔马和其他麻省理工学院的研究人员通过拍摄房间内墙壁的视频，并在其居住者移动时对帧进行平均，从而隔离了环境项。这消除了人类移动的阴影，只留下了主要光源的光线以及家具或其他静止物体的阴影。然后，研究人员从实时视频中删除了这些特征，从而显示了墙壁上移动的阴影。
接下来，夏尔马的团队记录了几个房间的空白墙壁，研究人员在其中上演了各种场景和活动。人们在摄像头视野之外单独或成对移动。其他人蹲伏、跳跃或挥舞手臂。然后，团队将视频输入到机器学习模型中，以教会它哪些柔和阴影模式指示哪些行为。由此产生的系统可以自动分析任何房间空白墙壁的实时录像，确定人数及其行为。这项工作在10月份的2021年国际计算机视觉会议上进行了展示。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关当今塑造我们世界的发现和想法的具有影响力的故事的未来。
尽管该系统可以在任何房间中无需校准即可运行，但在昏暗的照明或闪烁的光源（如电视）存在的情况下，其性能会很差。它只能注册已训练的群体规模和活动，并且需要高分辨率摄像头；标准数码相机产生了太多的背景噪声，而智能手机相机的效果甚至更差。
尽管存在局限性，但该方法突出了成像和机器学习如何将难以察觉的指标转化为监控。“这是一个非常酷的科学发现，如此低强度的信号可以用来预测信息，”夏尔马说。“当然，正如我们所确定的，肉眼根本无法做到这一点。”
空白墙壁远非第一个揭示周围环境秘密的看似无辜的物品。“一般来说，这些被称为侧信道攻击或侧信道监视，”非营利组织电子前沿基金会的职员技术专家本内特·赛弗斯说，该组织旨在促进数字权利。“当您使用并非直接寻找的信息来源（可能超出收集信息的正常方式的范围）来了解似乎无法了解的事情时，就会发生这种情况。”
侧信道攻击可以利用一些极其不起眼的输入。2020年，研究人员利用各种闪亮物体的反射——包括一袋薯片——重建了周围房间的图像。声音和其他振动也可以产生大量间接信息。例如，一个人在电脑上打字的音频可以揭示正在书写的单词。而电脑本身也可以充当麦克风：在2019年的一项研究中，研究人员开发了一种软件，可以检测和分析环境声波如何晃动硬盘驱动器的读写头在其磁盘上的磁道——从而有效地记录机器附近发生的对话。
科学家还开发了基于地板的传感器，能够检测脚步振动，识别个人身份，甚至诊断出某些疾病。这些技术大多依赖于机器学习来检测人类智能无法检测到的模式。随着高分辨率视听记录和计算能力的普及，研究人员可以使用许多不同的输入来训练系统，以从经常被忽视的线索中收集信息。
到目前为止，至少监视的潜力似乎并没有让许多隐私倡导者彻夜难眠。“这种空白墙壁攻击以及其他类似复杂的侧信道攻击，根本不应该成为普通人的担忧，”斯坦福互联网天文台的研究学者里亚娜·普费弗科恩说。“它们是学术研究人员的酷技巧，距离执法部门实际应用还很遥远。”日常使用“在未来还很遥远，即使真的有那一天，警察仍然不能非法侵入您的财产，并将摄像头贴在您的窗户上。”赛弗斯表示同意。“每个人都携带智能手机，很多人家里都有智能扬声器，他们的汽车都连接到互联网，”他指出。“公司和政府通常不必求助于空白墙壁的录像来收集他们想要的那种信息。”
尽管侧信道方法目前不太可能针对普通人，但它们最终可能会找到在现实世界中的应用。“军方和情报机构一直对他们可以获得的任何类型的监视都有特定的用途，”赛弗斯说。夏尔马同意这种用途是可能的，但他也提出了一些更无害的用途：例如，车辆可以扫描空白墙壁，作为在视线不良区域（如停车场）的自动行人检测系统的一部分。一些探索侧信道技术的研究人员认为，它们可以用于监控老年人并检测跌倒或其他问题。
夏尔马说，他自己的系统能够检测跌倒——如果他收集了示例来训练它。但是，他打趣道，“我拒绝在20个不同的房间里摔倒来收集数据。”