在球体内部，世界被简化为白色光芒和闪光球。球体的金属骨架框架外部是一片黑暗。想象一下，你被绑在椅子上，在这个装置里。来自黑暗的声音提出表情：嘴巴和眉毛的姿势，需要反应的场景，要说的短语和要体现的情绪。不时地，声音还会告诉你不要担心，并警告说更多的闪光即将到来。
“我不认为我被吓坏了，但那是一个非常令人压抑的空间，”一位要求《大众科学》出于隐私原因不透露姓名的演员说。他描述了他对“球体”的体验，这是他对摄影测量棚的称呼，该棚用于在 2022 年一部主要视频游戏的制作过程中捕捉他的肖像。“感觉就像在[核磁共振成像机]里，”他说。“这真的很科幻。”这位演员的经历是扫描过程的一部分，该过程允许媒体制作工作室拍摄演员在各种姿势的照片，并创建可移动、可塑的数字替身，随后可以对其进行动画处理，以在逼真的视频序列中执行几乎任何动作或运动。
人工智能的进步现在使制作这样的数字替身变得越来越容易——即使没有在球体中进行紧张的会话。一些演员担心，在可能的未来，制片厂会迫使他们签署放弃肖像权的协议，而他们的数字替身会抢走他们的工作。这是促使美国演员工会-美国电视和广播艺人联合会 (SAG-AFTRA) 成员罢工的因素之一。“表演者需要保护我们的图像和表演，以防止人工智能技术取代人类表演，”该工会在 7 月中旬罢工宣布几天后发布的一份声明中说。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保关于塑造我们当今世界的发现和想法的具有影响力的故事的未来。
尽管人工智能取代是一种令人不安的可能性，但今天媒体作品中看到的数字替身仍然依赖于人类表演者和特效艺术家。以下是该技术的工作原理——以及人工智能如何颠覆既定的流程。
数字替身技术是如何运作的
在过去的 25 年左右，为大预算媒体作品制作至少一些表演者的面部和身体数字替身已变得越来越普遍。这项技术几乎肯定在任何涉及大量数字特效、精心制作的动作场景或演员扮演多个年龄段角色的电影、电视节目或视频游戏中发挥作用。“这已经成为行业标准，”Apple TV 节目《基地》的视觉特效主管 Chris MacLean 说。*
摄影测量棚是一个被数百台摄像机包围的区域，有时排列成球形，有时围绕着一个方形房间。摄像机以高分辨率捕捉人物面部的数千张有意重叠的二维图像。如果演员的角色涉及说话或表达情感，则需要许多不同面部动作的照片。因此，主演的演员比配角或背景演员需要更广泛的扫描。同样，较大的装置用于扫描身体。
有了这些数据，视觉特效 (VFX) 艺术家将模型从二维变为三维。照片的重叠是关键。基于相机坐标——以及那些冗余的重叠部分——图像以类似于数字折纸的过程相互映射和折叠。然后，艺术家可以将生成的 3D 数字替身绑定到虚拟“骨架”并为其制作动画——可以直接跟随演员的真实世界、动作捕捉表演，也可以将该表演与计算机生成的一系列动作相结合。然后可以将动画人物放置在数字景观中并赋予对话——从技术上讲，可以使用一个人的扫描来创建他们做和说演员从未做过或说过的逼真视频片段。
特效艺术家还可以将演员的数字表演应用于与真人完全不同的虚拟化身。例如，前面提到的视频游戏演员说，他在球体中做了鬼脸，并在录音棚中录制了他的台词。他还与他的同伴表演者在单独的工作室中实际表演了许多场景以进行动作捕捉，这是一个类似于摄影测量但旨在记录身体运动的过程。然而，当玩家接触最终产品时，他们不会在屏幕上看到这位演员。相反，他的数字替身被修改为看起来像一个具有特定外观的反派。因此，最终的动画角色体现了演员的工作和视频游戏角色的特征。
电影和电视制作已经使用这个过程几十年了，尽管它在历史上既劳动密集又昂贵。尽管有困难，数字替身仍然很常见。制作团队经常使用它们进行涉及对话和动作的小调整。该技术也用于更大的编辑，例如将一组 100 名背景演员变形和复制成数千人的数字人群。但是，如果原始素材接近所需的最终输出，则更容易以令人信服的方式完成此类壮举。例如，MacLean 说，扫描穿着旨在复制 19 世纪欧洲服装的服装的背景演员很难编辑成数字替身穿着太空服的反乌托邦未来。“我认为制片厂不会有那么大的耐心，”他补充道。
然而，生成式人工智能，即 ChatGPT 背后的那种机器学习技术，开始使数字替身过程的某些方面更快更简单。
人工智能迅猛发展
MacLean 指出，一些视觉特效公司已经在使用生成式人工智能来加速修改数字替身外观的过程。这使得在《夺宝奇兵：命运转盘》等电影中“逆龄”著名演员变得更加容易，其中包括一段现在 81 岁的哈里森·福特的年轻版闪回。Scan Truck 移动摄影测量公司的首席技术官 Vladimir Galat 表示，人工智能在面部替换方面也很方便，在面部替换中，演员的肖像被叠加在特技替身上（本质上是经过批准的 深度伪造）。
Galat 说，人工智能的进步使一些摄影测量扫描变得不必要：生成模型可以在现有的照片和视频素材上进行训练——即使是已经去世的人的照片和视频素材。曾参与《复仇者联盟：终局之战》制作的视觉特效制作公司数字王国表示，也可以创建历史人物的虚假数字表演。数字王国的首席技术官 Hanno Basse 说：“这是一项非常新的技术，但它在我们业务中所占的比重越来越大。”
到目前为止，活人仍然参与制作“已故”人物的表演。一位真人演员表演一个场景，然后特效艺术家将他们的脸替换成历史人物的脸。“我们认为演员表演的细微差别，结合我们的人工智能和机器学习工具集，对于实现能够吸引观众并跨越恐怖谷的逼真效果至关重要，”Basse 说，他指的是有时由看起来几乎——但又不完全——像人类的事物引起的怪异感觉。
对机器人取代的恐惧
斯坦福大学计算机视觉和图形学研究员，今年秋天将开始在密歇根大学任职的计算机工程师 Jeong Joon “JJ” Park 说，调整数字替身和完全用人工智能取代一个人的表演之间存在差异。恐怖谷很宽，而且还没有一种生成式人工智能模型可以从头开始生成完整的、逼真的、移动的场景——这项技术甚至还远未成熟，Park 指出。为了实现这一目标，“我们开发的智能需要有重大飞跃，”他说。（人工智能生成的图像可能很难与真实事物区分开来，但制作逼真的静止图像比创建旨在代表 3D 空间的视频容易得多。）
尽管如此，滥用演员肖像的威胁依然存在。如果一个人的脸可以很容易地换成另一个人的脸，那么有什么可以阻止电影制作人将汤姆·克鲁斯放在每部动作电影的每个镜头中呢？有什么可以阻止制片厂用一个背景演员替换 100 个背景演员，并使用人工智能来制造许多演员的错觉呢？版权和商标律师 Eleanor Lackman 说，州法律的拼凑意味着，在大多数地方，人们对其自身的肖像权拥有合法所有权。但她指出，对于艺术和表达用途存在广泛的例外情况，而电影制作很容易属于该指定范围。媒体和科技律师 Jonathan Blavin 解释说，无论法律如何，一个人都可以合法签署合同，将其自身的肖像权让给制作公司。在保护一个人的数字肖像权方面，一切都取决于合同的具体细节——美国演员工会-美国电视和广播艺人联合会 (SAG-AFTRA) 非常清楚这种情况。
去年，扮演视频游戏反派角色的演员对为他的角色进行扫描感到很自在。“我合作的公司非常光明正大，”他说。但在未来，他可能不会那么快达成协议。“人工智能对面部捕捉的能力，以及我们从[罢工前谈判]中看到的情况，令人感到恐惧，”他说。这位演员热爱视频游戏；他很高兴能在游戏中表演，并希望再次这样做。但他说，首先，“我会仔细检查文件，与我的经纪公司联系——并可能咨询律师。”
*编者注（2023 年 7 月 25 日）：这句话在发布后经过编辑，以澄清 Chris MacLean 在 Apple TV 节目《基地》中的职位。