2021年，TikTok上出现了一些视频，似乎显示“汤姆·克鲁斯”在变消失硬币和享用棒棒糖，账户名是唯一明显的线索，表明这不是真实的。社交媒体平台上的“deeptomcruise”账户的创建者正在使用“深度伪造”技术来展示这位著名演员的机器生成版本，表演魔术和进行个人舞蹈比赛。
深度伪造的一个迹象曾经是“恐怖谷”效应，这是一种由合成人空洞的眼神引发的不安感觉。但越来越逼真的图像正将观看者从恐怖谷中拉出来，带入由深度伪造传播的欺骗世界。
惊人的真实感对这项技术的恶意用途产生了影响：它可能被武器化，用于政治或其他目的的虚假信息宣传活动，为敲诈勒索创建虚假色情制品，以及为新型虐待和欺诈进行的无数复杂操纵。开发识别深度伪造的反制措施已演变成安全侦探与网络罪犯和网络战行动人员之间的一场“军备竞赛”。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保未来能够继续产出关于塑造我们当今世界的发现和想法的有影响力的报道。
美国国家科学院院刊Proceedings of the National Academy of Sciences USA上发表的一项新研究衡量了这项技术取得了多大的进展。结果表明，真人很容易被机器生成的面孔所欺骗，甚至认为它们比真实的面孔更值得信任。“我们发现，合成面孔不仅高度逼真，而且被认为比真实面孔更值得信任，”加州大学伯克利分校教授、研究合著者Hany Farid说。这一结果引发了人们的担忧，“这些面孔在用于不正当目的时可能非常有效。”
“我们确实进入了危险的深度伪造世界，”瑞士意大利卢加诺大学副教授Piotr Didyk说，他没有参与这篇论文。用于生成这项研究的静态图像的工具已经普遍可用。Didyk认为，尽管创建同样复杂的视频更具挑战性，但相关的工具可能很快就会普及。
这项研究的合成面孔是在两个神经网络之间来回交互的过程中开发的，这两个神经网络是生成对抗网络的一种例子。其中一个网络，称为生成器，产生了一系列不断演变的合成面孔，就像学生逐步完成草稿一样。另一个网络，称为判别器，在真实图像上进行训练，然后通过将其与真实面孔的数据进行比较来对生成的输出进行评分。
生成器从随机像素开始练习。在来自判别器的反馈下，它逐渐生成越来越逼真的人脸。最终，判别器无法区分真实面孔和虚假面孔。
这些网络在代表黑人、东亚人、南亚人和白人的男性和女性的真实图像阵列上进行了训练，这与早期研究中更常见的白人男性面孔的使用形成对比。
在汇编了400张真实面孔和400张合成版本后，研究人员要求315人从128张图像的选择中区分真实面孔和虚假面孔。另一组219名参与者接受了一些关于如何识别假面孔的培训和反馈，当他们尝试区分面孔时。最后，第三组223名参与者各自对128张图像的选择进行了可信度评分，从1分（非常不可信）到7分（非常可信）。
第一组在区分真实面孔和虚假面孔方面并没有比抛硬币好多少，平均准确率为48.2%。第二组未能显示出明显的改进，即使在获得关于参与者选择的反馈后，也只获得了约59%的准确率。对可信度进行评分的小组给合成面孔的平均评分略高，为4.82，而真实人物的平均评分为4.48。
研究人员并没有预料到这些结果。“我们最初认为合成面孔的可信度会低于真实面孔，”研究合著者Sophie Nightingale说。
恐怖谷的想法并没有完全过时。研究参与者确实压倒性地将一些假面孔识别为假面孔。“我们并不是说生成的每一张图像都与真实面孔无法区分，但其中很大一部分是无法区分的，”Nightingale说。
这一发现加剧了人们对技术的可及性的担忧，这种技术使几乎任何人都可以创建欺骗性的静态图像。“任何人都可以创建合成内容，而无需具备Photoshop或CGI的专业知识，”Nightingale说。另一个担忧是，这些发现会造成深度伪造将变得完全无法检测的印象，南加州大学视觉智能与多媒体分析实验室创始主任Wael Abd-Almageed说，他没有参与这项研究。他担心科学家可能会放弃开发深度伪造的反制措施，尽管他认为保持对其检测与日益增长的真实感同步是“仅仅是另一个法医学问题”。
“在这个研究界，没有进行足够多的对话是如何开始主动改进这些检测工具，”WITNESS项目战略与创新主管Sam Gregory说，WITNESS是一个人权组织，部分专注于区分深度伪造的方法。他说，制作检测工具非常重要，因为人们倾向于高估自己发现假面孔的能力，“公众始终需要了解他们何时被恶意利用。”
Gregory没有参与这项研究，他指出，该研究的作者直接解决了这些问题。他们强调了三种可能的解决方案，包括为这些生成的图像创建持久的水印，“就像嵌入指纹一样，这样你就可以看到它来自生成过程，”他说。
该研究的作者在强调深度伪造的欺骗性用途将继续构成威胁后，以一个鲜明的结论结束：“因此，我们鼓励那些开发这些技术的人考虑相关的风险是否大于其益处，”他们写道。“如果是这样，那么我们不鼓励仅仅因为技术是可能的就开发它。”