深度伪造和人工智能生成的新型虚假媒体的创造与检测竞赛

被操纵的视频正变得越来越复杂——但识别它们的技术也是如此

麻省理工学院开放学习

人工智能(特别是深度神经网络(DNN))伪造的视频是近期在线虚假信息问题中出现的新变化。虽然数字图像和视频的伪造和操纵并非新鲜事,但近年来人工智能技术的快速发展使得创建令人信服的虚假视频的过程变得更加容易和快速。人工智能生成的虚假视频在 2017 年末首次引起公众的关注,当时一个名为 Deepfakes 的 Reddit 账户发布了使用基于 DNN 的换脸算法生成的色情视频。随后,深度伪造一词被更广泛地用于指代所有类型的人工智能生成的模仿视频。

虽然深度伪造有一些有趣和富有创意的应用,但它们也很可能被武器化。我们是最早对这种现象做出反应的人之一,并开发了第一种基于早期早期深度伪造视频中缺乏真实眨眼动作的深度伪造检测方法,时间在 2018 年初。随后,人们对开发深度伪造检测方法产生了浓厚的兴趣。

检测挑战


支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关当今塑造我们世界的发现和想法的具有影响力的故事能够拥有未来。


这些努力的高潮是今年的深度伪造检测挑战赛。总的来说,获胜的解决方案是高级 DNN 的杰作(表现最佳者的平均精度为 82.56%)。这些为我们提供了有效的工具来揭露由人工智能算法自动和大规模生产的深度伪造品。但是,我们需要谨慎解读这些结果。尽管组织者已尽最大努力模拟深度伪造视频在现实生活中部署的情况,但在评估数据集上的性能与更真实的数据集之间仍然存在显着差异;当在未见过的视频上进行测试时,表现最佳者的准确率降至 65.18%。

此外,所有解决方案都基于 DNN 和数据增强的巧妙设计,但除了“黑盒”类型的分类算法之外,没有提供太多见解。此外,这些检测结果并未反映算法在单个深度伪造视频上的实际检测性能,特别是那些在人工智能算法生成后经过手动处理和完善的视频。这种“精心制作的”深度伪造视频更有可能造成实际损害,而仔细的手动后处理可以减少或消除检测算法所依据的伪影。

深度伪造与选举

制作深度伪造的技术已为普通用户所用;GitHub 上有相当多的免费软件工具,包括 FakeApp、DFaker、faceswap-GAN、faceswap 和 DeepFaceLab——因此不难想象该技术可能被用于政治竞选和其他重要的社会事件中。然而,我们是否会在即将到来的选举中看到任何形式的深度伪造视频,很大程度上将取决于非技术因素。一个重要的因素是成本。创建深度伪造,虽然比以往任何时候都容易得多,但仍然需要时间、资源和技能。

与其他更廉价的虚假信息传播方法(例如,将现有图像或视频重新用于不同的背景)相比,深度伪造仍然是一种昂贵且效率低下的技术。另一个因素是,深度伪造视频通常很容易通过跨来源的事实核查来揭露,因此无法产生持久的影响。尽管如此,我们仍然应该对用于大规模虚假信息传播活动或在特定时间(例如,投票前几个小时内)部署的精心制作的深度伪造视频保持警惕,以造成短期的混乱和困惑。

未来的检测

深度伪造的制作与检测之间的竞争在可预见的未来不会结束。我们将看到更容易制作、更逼真且更难区分的深度伪造品。合成中细节缺乏的当前瓶颈将通过与 GAN 模型相结合来克服。随着硬件和更轻量级神经网络结构的进步,训练和生成时间将会缩短。在过去的几个月中,我们看到了新的算法,这些算法能够提供更高水平的真实感接近实时的运行。最新形式的深度伪造视频将超越简单的换脸,发展到全头合成(头部木偶戏)、联合视听合成(会说话的头部)甚至全身合成。

此外,最初的深度伪造品仅旨在欺骗人类的眼睛,但最近有一些措施使它们也无法被检测算法区分。这些措施被称为反取证,它利用深度神经网络的脆弱性,通过向生成的深度伪造视频添加有针对性的隐形“噪声”来误导基于神经网络的检测器。

为了遏制日益复杂的深度伪造品构成的威胁,检测技术也需要跟上步伐。当我们努力提高整体检测性能时,还应强调提高检测方法对视频压缩、社交媒体清洗和其他常见后处理操作以及有意的反取证操作的鲁棒性。另一方面,鉴于在线媒体的传播速度和范围,即使是最有效的检测方法也将在很大程度上以后验方式运行,仅在深度伪造视频出现后才适用。

因此,我们还将看到更多主动方法的开发,以保护个人免受此类攻击的侵害。这可以通过“污染”潜在的训练数据来破坏深度伪造合成模型的训练过程来实现。使用隐形数字水印或控制捕获来验证原始视频的技术也将看到积极的发展,以补充检测和保护方法。

毋庸置疑,深度伪造不仅是一个技术问题,而且随着潘多拉魔盒的打开,它们在可预见的未来不会消失。但是,随着我们检测它们的能力在技术上的提高以及公众对该问题的认识提高,我们可以学会与它们共存,并限制它们在未来的负面影响。

© . All rights reserved.