机器学习模型正迅速成为科学研究中的常用工具。这些人工智能系统正在帮助生物工程师发现新的潜在抗生素，兽医解读动物的面部表情，纸莎草学家阅读古代卷轴上的文字，数学家解决令人困惑的难题，以及气候学家预测海冰运动。一些科学家甚至正在探索大型语言模型作为心理学和行为研究中人类参与者的替代品或替代者的潜力。最近的一个例子是，计算机科学家让ChatGPT经历了米尔格拉姆电击实验的条件——一项始于1961年的关于服从性的研究，在该研究中，当被权威人物告知时，人们会给一个看不见的人施加他们认为越来越痛苦的电击——以及其他著名的心理学研究。人工智能模型的反应与人类相似：75%的模拟参与者施加了300伏或更高的电击。
但是，依赖这些机器学习算法也存在风险。其中一些风险是普遍公认的，例如生成式人工智能偶尔会产生“幻觉”（事实不准确或胡说八道）。人工智能工具也可能复制甚至放大人类对种族和性别等特征的偏见。而人工智能热潮催生了复杂、万亿变量的模型，需要耗水和耗能的数据中心，这可能会带来高昂的环境成本。
一个很大的风险不太明显，但可能非常重要：人类倾向于将大量的权威和可信度归因于机器。最近发表在《自然》杂志上的一篇论文指出，这种错位的信任可能在人工智能系统用于研究时引起严重问题。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保有关当今塑造我们世界的发现和思想的具有影响力的故事的未来。
“这些工具正在被拟人化，并被描绘成类人和超人。我们有可能不恰当地将信任扩展到人工智能产生的信息，”普林斯顿大学的认知心理学家和神经科学家，同时也是该研究的合著者莫莉·克罗克特说。耶鲁大学的社会文化人类学家丽莎·梅塞里与克罗克特共同撰写了这篇论文，她说，人工智能模型是人造产品，它们“代表了开发它们的人的观点和立场”。《大众科学》与两位研究人员进行了交谈，以更多地了解科学家使用人工智能的方式——以及过度信任这项技术的潜在影响。
以下是采访的编辑稿。
您为什么撰写这篇论文？
丽莎·梅塞里：[克罗克特]和我开始看到并分享人工智能可以为科学流程和科学界提供的各种宏伟的承诺。当我们真正开始认为我们需要写些什么时，是我们看到有说法称大型语言模型可以成为研究中人类受试者的替代品。鉴于我们多年的对话，这些说法似乎是错误的。
莫莉·克罗克特：我自己在研究中使用了机器学习好几年了，人工智能的进步使科学家能够提出我们以前无法提出的问题。但是，当我进行这项研究并观察到同事们的热情时，我产生了一种难以摆脱的不安感。
除了使用大型语言模型来取代人类参与者之外，科学家们还如何考虑部署人工智能？
克罗克特：之前，我们帮助撰写了一篇回应，回应了[《美国国家科学院院刊》]中的一篇研究，该研究声称机器学习可以仅从论文中的文字来预测研究是否[可重复]。这让我们觉得在技术上是不可信的。但更广泛地说，我们发现科学家们正在谈论使用人工智能工具使他们的工作更客观、更高效。
我们发现，这两个目标都相当冒险，并且使科学家们有可能在理解较少的情况下产出更多。令人担忧的是，我们可能会认为这些工具正在帮助我们更好地理解世界，但实际上，它们可能会扭曲我们的观点。
梅塞里：我们将我们在评论中观察到的人工智能用途分为四类：“替代者”、“先知”、“量化者”和“仲裁者”。“替代者”是我们已经讨论过的——它取代了人类受试者。“先知”是一种人工智能工具，它被要求综合现有的研究语料库并产生一些东西，例如评论或新的假设。“量化者”是科学家用来处理大量数据的AI——可能由那些机器替代者产生。人工智能“仲裁者”就像克罗克特提到的《美国国家科学院院刊》复制研究中描述的工具——用于评估和采纳研究的工具。我们将这些视为人工智能的愿景，因为它们今天不一定以成功或清晰的方式执行，但它们都在被探索和提出。
您已经指出，即使人工智能的幻觉和其他技术问题得到解决，风险仍然存在。
克罗克特：我们使用的总体隐喻是单一栽培的想法，它来自农业。单一栽培非常高效。它们提高了生产力。但是它们很容易受到害虫或疾病的侵袭；当您进行单一栽培而不是种植多样化的作物时，您更有可能损失全部作物。科学的单一栽培也容易受到风险的影响，例如错误在整个系统中传播。对于人工智能研究中的基础模型尤其如此，其中一个基础设施被跨多个领域使用和应用。如果该系统中存在某些错误，则可能会产生广泛的影响。
我们确定了两种科学单一栽培，它们可能随着人工智能的广泛采用而出现。第一种是知识的单一栽培。人工智能工具适合回答某些类型的问题。由于这些工具提高了生产力，因此正在探索的总体研究问题集可能会根据人工智能擅长的领域进行调整。
然后是知识生产者的单一栽培，人工智能工具开始取代人类思想家。并且由于人工智能工具具有特定的立场，因此这种转变消除了研究生产中人类观点的多样性。当有多种思维方式的人处理一个问题时，您更有可能发现错误的假设或错失的机会。两种单一栽培都可能导致认知错觉。
您所说的“错觉”是什么意思？
梅塞里：心理学中已经存在的一个例子是解释深度的错觉。基本上，当您社区中的某人声称他们知道某事时，您倾向于假设您也知道这件事。
在您的论文中，您引用研究表明，使用搜索引擎会让人误以为自己知道某事，而实际上他们只是在线访问该知识。而使用人工智能辅助工具回答测试问题的学生最终会认为他们比实际更了解某个主题。
梅塞里：没错。在解释深度错觉的基础上，我们还确定了另外两个。一个是探索广度的错觉，即有人认为他们正在检查比实际更多的东西。关于科学和世界，我们可以提出无数的问题。我们担心，随着人工智能的扩展，人工智能擅长回答的问题将被误认为是人们可以提出的整个领域的问题。然后是客观性错觉的风险。要么是假设人工智能代表所有立场，要么是假设人工智能根本没有立场。但归根结底，人工智能工具是由来自特定视角的人类创造的。
科学家如何避免陷入这些陷阱？我们如何减轻这些风险？
梅塞里：在机构层面，大学和出版商决定研究方向。这些机构正在与人工智能公司建立伙伴关系。我们必须对这背后的动机非常谨慎。一种缓解策略是坦诚地说明人工智能的资金来自何处，以及谁从对其所做的工作中受益。
克罗克特：在机构层面，资助者、期刊编辑和大学可以注意发展多样化的研究组合，以确保他们不会将所有资源投入到使用单一人工智能方法的研究中。未来，可能有必要有意识地保护无法用人工智能工具解决的研究类型的资源。
哪些类型的研究是这样的？
克罗克特：嗯，就目前而言，人工智能无法像人类一样思考。任何关于人类思想和行为的研究，以及定性研究，都无法用人工智能工具解决。
您会说，在最坏的情况下，人工智能对人类科学知识的生产构成了生存威胁吗？还是这言过其实了？
克罗克特：我不认为这言过其实。我认为我们正处于一个十字路口：我们如何决定什么是知识，以及我们如何在知识生产的努力中前进？
您认为公众真正了解人工智能和科学研究正在发生的事情，还有其他重要的内容吗？
梅塞里：从阅读媒体对人工智能的报道的角度来看，这似乎是科学和技术发展中某种注定的、不可避免的“进化”。但作为一名科学技术人类学家，我真的想强调，科学和技术并非朝着不可避免的方向发展。它始终是人类驱动的。这些不可避免性的叙事本身就是人类想象力的产物，并且来自于将某些人的渴望误认为所有人的预言。每个人，即使是非科学家，也可以通过想象可能实现的不同的未来来参与质疑这种不可避免性的叙事。
克罗克特：对科学中的人工智能持怀疑态度并不需要成为科学中人工智能的反对者。我们热爱科学。我对它在科学方面的潜力感到兴奋。但仅仅因为人工智能工具被用于科学并不意味着它自动就是更好的科学。
作为科学家，我们被训练去否认我们的人性。我们被训练去认为人类的经验、偏见和观点在科学方法中没有地位。自主人工智能“自动驾驶”实验室的未来是实现这种训练的顶峰。但是，我们越来越看到证据表明，进行科学研究的人类思想、经验和训练的多样性对于产生稳健、创新和创造性的知识至关重要。我们不想失去这一点。为了保持科学知识生产的活力，我们需要让人类参与其中。