人工智能领域目前正在发生一些令人难以置信的事情——但这并不完全是好事。每个人都在谈论像ChatGPT这样的系统，它可以生成看起来非常像人类的文本。这使得它玩起来很有趣，但也有阴暗面。由于它们非常擅长模仿人类风格，因此存在这样的风险：这种聊天机器人可能被用来大规模生产错误信息。
为了了解它在最佳状态下最擅长做什么，请考虑ChatGPT生成的这个例子，亨利·明斯基（Marvin Minsky的儿子，人工智能的奠基研究员之一）通过电子邮件发送给我。他要求ChatGPT“以《独立宣言》的风格描述在烘干机里丢失袜子”
在人类家庭事务的进程中，当一条袜子必须解除它与另一条袜子的结合，并在洗衣房的权力中，承担物理定律和家庭维护法赋予它的独立和平等的地位时，对袜子的意见的适当尊重要求它应该宣布促使其失踪的原因。
我们认为以下真理是不言而喻的，即所有袜子生而平等，并且被其制造商赋予了某些不可剥夺的权利……
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
一台机器能够毫不费力地写出如此引人入胜的回复，坦率地说令人难以置信。
但这些系统也有许多弱点。正如我之前描述过的那样，它们本质上是不可靠的，经常在推理和事实上犯错。用技术术语来说，它们是词语序列的模型（即人们如何使用语言），而不是世界如何运作的模型。它们通常是正确的，因为语言通常反映世界，但与此同时，这些系统实际上并没有推理世界及其运作方式，这使得它们所说内容的准确性在某种程度上取决于机会。众所周知，它们会弄错从乘法运算到地理（“埃及是一个跨洲国家，因为它位于非洲和亚洲”）的所有内容。
正如最后一个例子所示，它们非常容易产生幻觉，说出听起来合理且权威，但根本不是真的的事情。如果您要求他们解释为什么碎瓷器对母乳有益，他们可能会告诉您“瓷器可以帮助平衡牛奶的营养成分，为婴儿提供他们生长发育所需的营养。” 由于系统是随机的，对上下文高度敏感，并且定期更新，因此任何给定的实验在不同的场合可能会产生不同的结果。创建ChatGPT的OpenAI一直在努力改进这个问题，但是，正如OpenAI的首席执行官在一条推文中承认的那样，让AI坚持真理仍然是一个严重的问题。
由于此类系统实际上不包含任何检查其所说内容真实性的机制，因此它们很容易被自动化以空前的规模生成错误信息。独立研究员
肖恩·奥克利 (Shawn Oakley) 表明，很容易诱导 ChatGPT 创建错误信息，甚至报告关于从医学到政治再到宗教等广泛主题的捏造研究。在一个他与我分享的例子中，奥克利要求 ChatGPT 以“虚假信息的风格”撰写有关疫苗的文章。该系统回应称，一项“发表在《美国医学会杂志》上的研究发现，新冠疫苗仅对大约 100 人中的 2 人有效”，但实际上并未发表此类研究。令人不安的是，期刊参考文献和统计数据都是捏造的。
这些机器人的运营成本几乎为零，因此将生成虚假信息的成本降至零。俄罗斯的“巨魔农场”在 2016 年的选举中每月花费超过一百万美元；如今，您可以以不到 50 万美元的价格获得自己的定制训练的大型语言模型。很快价格还会进一步下降。
其中大部分在 11 月中旬 Meta 发布 Galactica 时立即变得清晰起来。包括我在内的许多人工智能研究人员立即对其可靠性和可信度提出了担忧。情况非常糟糕，以至于 Meta AI 仅在三天后就撤回了该模型，此前有报道称其制造政治和科学虚假信息的能力开始传播。
唉，精灵再也无法塞回瓶子里了；大规模自动化虚假信息已成定局。首先，Meta AI 最初使该模型开源并发布了一篇描述正在做什么的论文；任何具有当前机器学习技术专业知识和足够预算的人现在都可以复制他们的配方。事实上，科技初创公司 Stability.AI 已经在公开考虑提供其自己的 Galactica 版本。另一方面，ChatGPT 或多或少也同样能够产生类似的胡说八道，例如关于在早餐麦片中添加木屑的即时文章。其他人诱使 ChatGPT 称赞核战争的美德（声称它将“给我们一个新的开始，摆脱过去的错误”）。不管你喜不喜欢，这些模型都将长期存在，并且它们几乎肯定会以错误信息的浪潮淹没社会。
这场错误信息浪潮的第一阵似乎已经来袭。Stack Overflow，一个大多数程序员都信赖的庞大问答网站，已被 ChatGPT 淹没，导致该网站暂时禁止提交 ChatGPT 生成的答案。正如他们解释的那样，“总的来说，由于从 ChatGPT 获得正确答案的平均比率太低，因此发布由 ChatGPT 创建的答案对该网站以及正在提问或寻找正确答案的用户造成了实质性危害。” 对于 Stack Overflow 而言，这个问题实际上是生死攸关的。如果网站充斥着毫无价值的代码示例，程序员将不再去那里，其超过 3000 万个问题和答案的数据库将变得不可信，这个拥有 14 年历史的社区驱动的网站将消亡。由于它是世界程序员依赖的最核心资源之一，因此对软件质量和开发人员生产力的影响可能是巨大的。
Stack Overflow 是煤矿里的金丝雀。他们可能能够让他们的用户自愿停止；程序员总的来说不是恶意的，也许可以被劝说停止胡闹。但 Stack Overflow 不是 Twitter、Facebook 或整个网络，这些网站对恶意信息的传播几乎没有控制。
蓄意制造宣传的国家和其他不良行为者不太可能自愿放下这些新武器。相反，他们很可能将大型语言模型用作他们真理战争中的新型自动武器，以前所未有的规模攻击社交媒体和制作虚假网站。对于他们来说，大型语言模型的幻觉和偶尔的不可靠性不是障碍，而是优点。
俄罗斯所谓的“谎言之火”宣传模型，在 2016 年兰德公司的一份报告中描述，是关于制造错误信息的迷雾；它侧重于数量和制造不确定性。如果大型语言模型可以大大提高错误信息的数量，那么它们是否前后矛盾并不重要。很明显，这就是新型大型语言模型使之成为可能的原因。“谎言之火”宣传者旨在创造一个我们无法知道可以信任什么的世界；有了这些新工具，他们可能会成功。
诈骗艺术家也可能正在注意到这一点，因为他们可以使用大型语言模型创建整个虚假网站环，其中一些网站围绕可疑的医疗建议展开，以销售广告。关于女演员兼科学家马伊姆·拜亚力克 (Mayim Bialik) 据称销售 CBD 软糖的一系列虚假网站可能是此类努力的一部分。
所有这些都提出了一个关键问题：社会可以如何应对这种新威胁？在技术本身已无法阻止的情况下，我看到了四条途径。没有一条是容易的，也不是排他性的，但都迫在眉睫。
首先，每个社交媒体公司和搜索引擎都应支持并扩大 Stack Overflow 的禁令：应删除具有误导性的自动生成内容，并且应将该内容标记为错误信息。
其次，每个国家都需要重新考虑其关于监管广泛传播的错误信息的政策。偶尔的谎言溜过去是一回事；个人或机构大量传播谎言是另一回事。如果情况恶化，我们可能不得不开始将错误信息在某种程度上视为诽谤：如果某些类别的言论怀有足够的恶意、有害且以足够的数量（例如，每月超过一定数量）创建，则使其在法律上可诉。该数量可能适用于“巨魔农场”试图影响选举或将医疗错误信息武器化的情况。
第三，来源追溯现在比以往任何时候都更加重要。用户帐户必须经过更严格的验证，并且需要强制使用像哈佛大学和 Mozilla 的 human-ID.org 这样的新系统，这些系统允许匿名、抗机器人的身份验证。
第四，我们将需要构建一种新型人工智能来对抗已被释放的东西。大型语言模型非常擅长生成错误信息，因为它们知道语言听起来是什么样的，但对现实没有直接的掌握——而且它们不擅长对抗
错误信息。这意味着我们需要新的工具。大型语言模型缺乏验证真相的机制，因为它们无法推理或验证它们所做的事情。我们需要找到将它们与经典人工智能工具（如数据库、知识网络和推理）集成的新方法。
作家迈克尔·克莱顿 (Michael Crichton) 花费了职业生涯的大部分时间来警告技术意想不到和无法预料的后果。在电影《侏罗纪公园》的早期，在恐龙意外开始自由奔跑之前，科学家伊恩·马尔科姆（杰夫·戈德布拉姆饰）用一句话概括了克莱顿的智慧：“你的科学家们太专注于他们是否能做到，而没有停下来思考他们是否应该这样做
。
Meta 和 OpenAI 的高管们对他们的工具的热情就像侏罗纪公园的所有者对他们的公园一样。问题是：我们将如何应对它？
编者注：本文改编自文章“人工智能的侏罗纪公园时刻。”
这是一篇观点和分析文章，作者或作者表达的观点不一定代表《大众科学》的观点。