根据 12 月下旬发布在 bioRxiv 服务器上的预印本1，人工智能 (AI) 聊天机器人可以撰写出极具说服力的虚假研究论文摘要，以至于科学家常常无法识别。研究人员对于这对科学的意义存在分歧。
“我非常担忧，”英国牛津大学研究技术和监管的 Sandra Wachter 说，她没有参与这项研究。“如果我们现在处于专家都无法判断真假的情况下，我们就失去了我们迫切需要的中介，来引导我们理解复杂的主题，”她补充道。
聊天机器人 ChatGPT 可以根据用户提示生成 听起来逼真且智能的文本。它是一个“大型语言模型”，这是一种基于神经网络的系统，通过消化大量现有人类生成的文本来学习执行任务。总部位于加利福尼亚州旧金山的软件公司 OpenAI 于 11 月 30 日发布了该工具，并且可以免费使用。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您将帮助确保未来能够继续讲述关于塑造我们当今世界的发现和想法的具有影响力的故事。
自发布以来，研究人员一直在 努力解决围绕其使用的伦理问题，因为其许多输出结果都难以与人类撰写的文本区分开来。科学家们已经发表了一篇由 ChatGPT 撰写的预印本2 和一篇社论3。现在，由伊利诺伊州芝加哥西北大学的 Catherine Gao 领导的一个小组已经使用 ChatGPT 生成了人工研究论文摘要，以测试科学家是否可以识别出来。
研究人员要求聊天机器人根据发表在JAMA、《新英格兰医学杂志》、《英国医学杂志》、《柳叶刀》和《自然医学》上的精选文章撰写 50 篇医学研究摘要。然后，他们通过剽窃检测器和 AI 输出检测器运行这些摘要，并将它们与原始摘要进行比较，并要求一组医学研究人员找出伪造的摘要。
未被察觉
ChatGPT 生成的摘要顺利通过了剽窃检查器：原创性评分中位数为 100%，这表明未检测到剽窃。AI 输出检测器发现了 66% 的生成摘要。但人工审阅者的情况也好不到哪里去：他们仅正确识别出 68% 的生成摘要和 86% 的真实摘要。他们错误地将 32% 的生成摘要识别为真实的，并将 14% 的真实摘要识别为生成的。
Gao 及其同事在预印本中说：“ChatGPT 撰写了可信的科学摘要。”“为了帮助科学写作，大型语言模型的伦理和可接受使用范围仍有待确定。”
Wachter 说，如果科学家无法确定研究是否真实，可能会产生“可怕的后果”。除了对研究人员来说存在问题（他们可能会被引向错误的调查路线，因为他们阅读的研究是伪造的），“对整个社会也存在影响，因为科学研究在我们的社会中扮演着如此重要的角色”。例如，这可能意味着以研究为依据的政策决定是不正确的，她补充道。
但新泽西州普林斯顿大学的计算机科学家 Arvind Narayanan 说：“任何认真的科学家都不太可能使用 ChatGPT 来生成摘要。”他补充说，生成摘要是否可以被检测到是“不相关的”。“问题是该工具是否可以生成准确且引人注目的摘要。它不能，因此使用 ChatGPT 的好处微乎其微，而坏处却很明显，”他说。
Irene Solaiman 在总部位于纽约和巴黎的 AI 公司 Hugging Face 研究 AI 的社会影响，她对任何依赖大型语言模型进行科学思考的做法都感到担忧。“这些模型是根据过去的信息进行训练的，而社会和科学的进步往往来自于与过去不同的思考或开放的思考方式，”她补充道。
作者建议，评估科学传播（如研究论文和会议记录）的人员应制定政策，以杜绝使用 AI 生成的文本。如果机构选择在某些情况下允许使用该技术，则应制定关于披露的明确规则。本月早些时候，将于 7 月在夏威夷檀香山举行的第四十届国际机器学习大会（一个大型 AI 会议）宣布，它已禁止使用 ChatGPT 和其他 AI 语言工具撰写的论文。
Solaiman 补充说，在虚假信息可能危及人们安全的领域（例如医学），期刊可能不得不采取更严格的方法来验证信息的准确性。
Narayanan 说，解决这些问题的方案不应侧重于聊天机器人本身，“而应侧重于导致这种行为的扭曲激励，例如大学在进行招聘和晋升审查时，只计算论文数量，而不考虑其质量或影响力”。
本文经许可转载，并于 2023 年 1 月 12 日 首次发表。