根据 11 月 6 日发表在《细胞报告-物理科学》上的一项研究，一种机器学习工具可以轻松识别出何时使用聊天机器人 ChatGPT 撰写化学论文。这种专门的分类器优于两种现有的人工智能 (AI) 检测器，可以帮助学术出版商识别人工智能文本生成器创建的论文。
“大多数文本分析领域都想要一个真正通用的检测器，可以适用于任何事物，”共同作者、堪萨斯大学劳伦斯分校的化学家希瑟·德赛尔说。但是，通过制作一个专注于特定类型论文的工具，“我们真正追求的是准确性。”
德赛尔说，研究结果表明，通过针对特定类型的写作定制软件，可以促进开发人工智能检测器的努力。“如果你可以快速轻松地构建一些东西，那么为不同的领域构建一些东西并不难。”
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的有影响力的故事的未来。
文体要素
德赛尔和她的同事在 6 月首次描述了他们的 ChatGPT 检测器，当时他们将其应用于《科学》杂志的观点文章。该检测器使用机器学习，检查写作风格的 20 个特征，包括句子长度的变化以及某些单词和标点符号的频率，以确定一篇文本是由学术科学家还是 ChatGPT 撰写的。研究结果表明，“你可以使用一小部分特征来获得高水平的准确性”，德赛尔说。
在最新的研究中，该检测器接受了美国化学学会 (ACS) 出版的十种化学期刊论文的引言部分的训练。德赛尔说，该团队之所以选择引言，是因为如果 ChatGPT 可以访问背景文献，那么论文的这一部分相对容易撰写。研究人员使用 100 篇已发表的引言来训练他们的工具，作为人类撰写的文本，然后要求 ChatGPT-3.5 以 ACS 期刊风格撰写 200 篇引言。对于其中的 100 篇，该工具提供了论文的标题，对于另外 100 篇，则提供了摘要。
当在人类撰写的引言和人工智能根据相同期刊生成的引言上进行测试时，该工具以 100% 的准确率识别出基于标题的 ChatGPT-3.5 撰写的部分。对于基于摘要的 ChatGPT 生成的引言，准确率略低，为 98%。该工具对 ChatGPT-4（聊天机器人的最新版本）编写的文本同样有效。相比之下，人工智能检测器 ZeroGPT 识别人工智能撰写的引言的准确率仅为约 35-65%，具体取决于使用的 ChatGPT 版本以及引言是根据论文的标题还是摘要生成的。ChatGPT 的制造商 OpenAI 制作的文本分类器工具也表现不佳——它能够以约 10-55% 的准确率发现人工智能撰写的引言。
新的 ChatGPT 捕捉器甚至在未经训练的期刊的引言中也表现良好，并且捕捉到了由各种提示创建的人工智能文本，包括旨在迷惑人工智能检测器的提示。然而，该系统高度专门用于科学期刊文章。当呈现大学报纸上的真实文章时，它无法识别出这些文章是由人类撰写的。
更广泛的问题
柏林应用科学大学 HTW 研究学术剽窃的计算机科学家德博拉·韦伯-伍尔夫说，作者正在做的事情“非常有趣”。她说，许多现有工具试图通过搜索人工智能生成写作的预测性文本模式，而不是通过查看写作风格的特征来确定作者身份。“我从没想过在 ChatGPT 上使用文体学。”
但韦伯-伍尔夫指出，还有其他问题驱动着 ChatGPT 在学术界的使用。她指出，许多研究人员面临着快速发表论文的压力，或者他们可能不认为撰写论文的过程是科学的重要组成部分。人工智能检测工具无法解决这些问题，不应被视为“解决社会问题的神奇软件解决方案”。
本文经许可转载，并于 2023 年 1 月 27 日首次发表于 nature.com。