艺术家正在向他们的艺术作品中偷偷加入反人工智能“毒药”。以下是它的工作原理

诸如 Nightshade 和 Glaze 等数字隐身工具帮助艺术家从生成式人工智能手中夺回控制权——但它们并非永久的解决方案

Vector illustration of a robotic hand drawing tracing and connecting dots to draw Mona Lisa as a white line drawing on a blue background

Moor Studio/Getty Images

米尼翁·扎库加以绘制书籍封面和为视频游戏创作艺术为生。但在过去一年里,她眼睁睁地看着多位潜在客户从她的候补名单中消失,转而使用人工智能生成的图像——这些图像通常与她自己的黑暗而空灵的绘画风格相似。“第一次发生时,我感到非常沮丧,”她说。“感觉不好。” 虽然扎库加仍然能够勉强维持生计,但她担心刚刚入行的年轻艺术家。“这可能会夺走许多新兴艺术家的未来,”她说。

生成式人工智能工具是在大量数据上训练的,包括受版权保护的图像和文本。在未来几年,世界各地的法院将开始裁决这种行为是否以及何时侵犯了版权法。与此同时,艺术家们一直在争先恐后地自行保护他们的作品。扎库加在数字“隐身”工具中找到了一丝安慰,例如 GlazeNightshade,这些工具能够扰乱人工智能模型“看到”图像的方式——但对人眼来说,图像看起来几乎没有变化。每种隐身工具都有其自身的优势和局限性。虽然使用这些工具让像扎库加这样的艺术家获得了一些急需的安心,但专家警告说,这些工具并非保护生计的长期解决方案。

2022 年,芝加哥大学的计算机科学家本·赵和希瑟·郑开始收到来自担忧的艺术家的电子邮件,他们希望保护自己的作品。两人之前创建了一个名为 Fawkes 的工具,可以修改照片以阻止面部识别人工智能,艺术家们想知道该工具是否可以保护他们的风格免受图像生成模型(如 Stable Diffusion 或 Midjourney)的侵害。最初的答案是否定的,但研究人员很快开始开发两种新工具——Glaze 和 Nightshade——试图保护艺术家的作品。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保未来有关塑造我们当今世界的发现和思想的具有影响力的故事能够继续存在。


这两个程序都以细微而系统的方式改变图像的像素,这对人类来说是难以察觉的,但对人工智能模型来说却是令人困惑的。纽约大学计算机科学家迈卡·戈德布鲁姆说,就像欺骗人眼的视错觉一样,微小的视觉调整可以完全改变人工智能感知图像的方式。他开发了类似的隐身工具,但没有参与创建 Glaze 或 Nightshade。

这些工具利用了人工智能模型底层架构中的漏洞。图像生成人工智能系统在大量的图像和描述性文本上进行训练,从中学习将某些词语与视觉特征(如形状和颜色)联系起来。这些神秘的关联被绘制在巨大的、多维的内部“地图”中,相关的概念和特征彼此靠近地聚集在一起。这些模型使用这些地图作为指南,将文本提示转换为新生成的图像。

Glaze 和 Nightshade 都创建了会扰乱这些内部地图的图像,使某些不相关的概念看起来彼此接近。为了构建这些程序,研究人员使用了“特征提取器”——分析程序,可以简化这些超复杂的地图,并显示生成模型将哪些概念归为一类,又将哪些概念分开。研究人员利用这些知识构建算法,以微小但有针对性的方式修改训练图像;这通过在模型中创建不正确的关联来混淆概念的放置。

在 Glaze 中,这些更改旨在掩盖艺术家的个人风格。郑解释说,这可以防止模型被训练来模仿创作者的作品。如果在训练中输入“Glazed”图像,人工智能模型可能会将艺术家的活泼卡通插画风格解释为更像毕加索的立体主义。用于训练潜在的模仿模型的 Glazed 图像越多,人工智能的输出就会越混乱。其他工具,如Mist,也旨在保护艺术家独特的风格免受人工智能的模仿,其工作原理类似。

Nightshade 更进一步,破坏了现有的生成式人工智能模型。这种隐身工具将潜在的训练图像变成“毒药”,教会人工智能错误地关联基本思想和图像。仅需数百张经过 Nightshade 处理的图像即可重新训练生成式人工智能模型,使其认为例如猫是狗,或者帽子是蛋糕。赵说,已经有成千上万的人下载并开始部署 Nightshade,以污染人工智能训练图像库。

通过干扰生成式人工智能模型的齿轮,Nightshade 可能会使开发人员的训练过程变慢或成本更高。赵说,从理论上讲,这可能会激励人工智能公司通过官方渠道支付图像使用权,而不是投入时间清理和过滤从网络上抓取的未经许可的训练数据。

扎库加注册参与了 Glaze 和 Nightshade 的 Beta 测试,她仍然经常使用这些工具。根据赵的建议,她先将自己的每件艺术作品通过 Nightshade 处理,然后再通过 Glaze 处理,然后再将图像文件上传到互联网。

扎库加说,不幸的是,隐身处理单张图像可能需要数小时。而且这些工具只能帮助艺术家保护新作品。如果图像已经被吸收到人工智能训练数据集,那么就无法再进行隐身处理了。

此外,尽管这些工具旨在进行人眼看不见的更改,但有时它们实际上是可察觉的——尤其是对于创作作品的艺术家而言。“这不是我最喜欢的事情,”扎库加说,但这是“必要的牺牲”。郑说,她和她的同事仍在努力寻找破坏和保持图像完整性之间的理想平衡。

更关键的是,不能保证隐身工具能长期有效。“这些不是面向未来的工具,”安大略省滑铁卢大学计算机科学助理教授高塔姆·卡马斯说。至少有一项其他学术机器学习研究人员的尝试成功地部分破坏了 Glaze 隐身效果,赵说。赵认为 Glaze 目前很坚固,但戈德布鲁姆指出,未来人工智能模型的更改可能会使隐身方法过时,尤其是当开发人员创建更类似于人脑的模型时。

赵说,数字安全“始终是一场猫捉老鼠的游戏”。他和郑希望其他研究人员能够开发出互补的策略,共同加强保护。“Nightshade 的重要意义在于,我们证明了艺术家不必无能为力,”郑说。

目前,卡马斯建议艺术家也可以考虑使用其他数字工具,例如 Kudduru,它可以检测网络爬虫并阻止它们访问网站上的图像。但正如图像隐身有弱点一样,这些拦截器也并非总是能成功对抗大型抓取操作,赵指出。艺术家还可以将他们的作品放在付费墙或登录页面后面,以防止网络抓取,但这会限制他们的潜在受众。

赵、郑和卡马斯都认为,为了真正长期保护艺术家的生计,澄清版权法以及制定保护创意作品的新立法将是必要的。

与此同时,扎库加将尽可能长时间地继续使用 Glaze 和 Nightshade。“这是我们现在拥有的最佳解决方案,”她说。

© . All rights reserved.