得益于生成式人工智能的蓬勃发展，能够生成文本、计算机代码、图像和音乐的程序对普通人来说唾手可得。我们已经在使用它们了：人工智能内容正在占领互联网，由“大型语言模型”生成的文本正在填充数百个网站，包括CNET和Gizmodo。但是，随着人工智能开发者抓取互联网，人工智能生成的内容可能很快就会进入用于训练新模型以像人类一样响应的数据集。一些专家表示，这将无意中引入错误，这些错误会随着模型每一代的迭代而累积。
越来越多的证据支持这一观点。它表明，即使少量的人工智能生成文本的训练数据，最终也会对被训练的模型产生“毒害”。目前，几乎没有明显的解药。“虽然现在或在几个月内可能不是问题，但我相信几年后它将成为一个需要考虑的因素，” 苏格兰爱丁堡大学信息学院的计算机科学家Rik Sarkar说。
支持科学新闻报道
如果您喜欢这篇文章，请考虑支持我们屡获殊荣的新闻报道，方式是 订阅。通过购买订阅，您正在帮助确保未来能够继续刊登关于塑造我们当今世界的发现和想法的有影响力的报道。
人工智能模型自我污染的可能性可能有点类似于20世纪的某个困境。在第二次世界大战结束时第一批原子弹被引爆后，数十年的核试验使地球大气层中掺入了一点放射性尘埃。当这些空气进入新制造的钢铁时，也带来了升高的辐射。对于特别对辐射敏感的钢铁应用，例如盖革计数器控制台，这种放射性尘埃构成了一个明显的问题：盖革计数器不能自己报警。因此，人们开始争抢日益减少的低辐射金属供应。拾荒者搜寻旧沉船，以提取战前钢铁的碎片。现在一些业内人士认为，类似的循环将在生成式人工智能中重演——用训练数据代替钢铁。
研究人员可以观察到人工智能中毒的实际情况。例如，从一个用人类生成的数据训练的语言模型开始。使用该模型生成一些人工智能输出。然后使用该输出训练一个新的模型实例，并使用结果输出训练第三个版本，依此类推。随着每次迭代，错误都会相互叠加。第十个模型在被提示撰写关于英国历史建筑的文章时，吐出了关于兔子的胡言乱语。
“它会达到一个程度，你的模型实际上变得毫无意义，”牛津大学的机器学习研究员Ilia Shumailov说。
Shumailov和他的同事将这种现象称为“模型崩溃”。他们在名为OPT-125m的语言模型，以及另一个生成手写数字的人工智能模型，甚至是一个试图分离两个概率分布的简单模型中观察到了这种现象。“即使在最简单的模型中，这种情况也已经在发生，”Shumailov说。“我向你保证，在更复杂的模型中，这种情况也百分之百已经在发生。”
在最近的一项预印本研究中，Sarkar和他在马德里和爱丁堡的同事用一种称为扩散模型的人工智能图像生成器进行了类似的实验。他们系列中的第一个模型可以生成可识别的花朵或鸟类。到他们的第三个模型时，这些图片已经退化成模糊不清的图像。
Sarkar说，其他测试表明，即使是部分人工智能生成的训练数据集也是有毒的。“只要有相当一部分是人工智能生成的，就会成为问题，”他解释说。“现在到底需要多少人工智能生成的内容才会导致问题，以及在什么样的模型中会导致问题，这仍然有待研究。”
这两个研究小组都对相对较小的模型进行了实验——这些程序比GPT-4语言模型或Stable Diffusion图像生成器等模型更小，使用的训练数据也更少。较大的模型有可能被证明更能抵抗模型崩溃，但研究人员表示，几乎没有理由相信会这样。
到目前为止的研究表明，模型在其数据的“尾部”——模型训练集中较少表示的数据元素——会遭受最大的损失。由于这些尾部包括远离“常态”的数据，模型崩溃可能会导致人工智能的输出失去研究人员所说的人类数据特有的多样性。特别是，Shumailov担心这将加剧模型对边缘化群体的现有偏见。“很明显，未来模型会变得更加有偏见，”他说。“需要付出明确的努力来遏制它。”
也许这一切都是推测，但人工智能生成的内容已经开始进入机器学习工程师赖以获取训练数据的领域。以语言模型为例：即使是主流新闻媒体也开始发布人工智能生成的文章，一些维基百科编辑希望使用语言模型为该网站生成内容。
“我觉得我们正处于一个转折点，我们用来训练这些模型的许多现有工具正迅速被合成文本饱和，” 洛桑瑞士联邦理工学院（EPFL）的研究生Veniamin Veselovskyy说。
有迹象表明，人工智能生成的数据也可能从其他地方进入模型训练。长期以来，机器学习工程师一直依赖众包平台，例如亚马逊的Mechanical Turk，来注释他们模型的训练数据或审查输出。EPFL的Veselovskyy和他的同事要求Mechanical Turk的工人总结医学研究摘要。他们发现，大约三分之一的摘要带有ChatGPT的痕迹。
EPFL小组的工作于上个月在预印本服务器arXiv.org上发布，仅检查了来自Mechanical Turk工人的46份回复，而总结是一项经典的语言模型任务。但结果在机器学习工程师的脑海中引发了幽灵。“用ChatGPT注释文本数据要容易得多，而且结果非常好，” EPFL的研究生Manoel Horta Ribeiro说。Veselovskyy和Ribeiro等研究人员已经开始考虑如何保护众包数据的人性，包括调整Mechanical Turk等网站，以阻止用户转向语言模型，并重新设计实验以鼓励更多的人类数据。
为了应对模型崩溃的威胁，一个不幸的机器学习工程师该怎么办？答案可能是盖革计数器中的战前钢铁的等价物：已知没有（或者可能尽可能没有）生成式人工智能污染的数据。例如，Sarkar提出了采用“标准化”图像数据集的想法，这些数据集将由人类策展，他们知道其内容仅包含人类创作，并可供开发者免费使用。
一些工程师可能会试图撬开互联网档案馆，查找人工智能繁荣之前的旧内容，但Shumailov不认为回到历史数据是一个解决方案。一方面，他认为可能没有足够的历史信息来满足不断增长的模型的需求。另一方面，这些数据仅仅是：历史数据，不一定反映不断变化的世界。
“如果你想收集过去100年的新闻，并试图预测今天的新闻，显然是行不通的，因为技术已经改变了，”Shumailov说。“行话变了。对问题的理解也发生了变化。”
那么，挑战可能更直接：区分人类生成的数据和合成内容，并过滤掉后者。但即使存在这种技术，这也不是一项简单的任务。正如Sarkar指出的那样，在一个Adobe Photoshop允许其用户使用生成式人工智能编辑图像的世界中，结果是人工智能生成的图像——还是不是？