简单的重复性协议可以提高对科学的信任

缺乏研究中共享的代码、数据和方法,可重复性危机威胁着计算科学。新的重复性协议系统可以缓解这场危机。

Collage of woman standing amongst symbols and graphs

达芙妮是一位渴望计算机视觉的科学家,她遇到了一项与她的自动驾驶汽车研究高度相关的新研究。该研究使用计算方法揭示了隐藏的驾驶模式。意识到自动驾驶的安全隐患,达芙妮决定负责任地行动,并在依赖研究结果之前重复该研究以验证其发现。  

然而,在仔细阅读了论文的方法论后,达芙妮意识到原始研究人员没有提供代码访问权限,只提供了他们在研究中使用的数据集的部分访问权限。达芙妮给原始研究的通讯作者萨莎发邮件寻求帮助,但没有得到回复。达芙妮现在面临着一个严峻的困境:从头开始进行独立研究,这需要巨大的资源,或者依赖现有的研究,尽管它是不可重复的。

今天,由复杂模型和庞大数据集驱动的计算科学,推动着几乎每个学术领域的研究和创新。达芙妮的例证故事突出了科学家在重复研究中面临的真实挑战,并强调了实现代码访问、数据和其他信息的重要性。促进科学研究的可重复性有利于科学界,并培养公众对科学的信任


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关塑造我们今天世界的发现和想法的具有影响力的故事的未来。


重复性对科学至关重要,早在17世纪的先驱化学家罗伯特·玻意耳就将其视为根本。它确保已发表的发现是有效的。如果其他科学家可以重复这项研究并获得相同的结果,我们就可以信任这些发现。如果不是,这是一个危险信号,表明可能出了问题。科学是累积的,重复性构建了其全面且可信的主体。

不幸的是,近几十年来,科学界一直在与“重复性危机”作斗争,从经济学到物理学等领域的科学家发现难以重现已发表研究的结果。事实上,对特定领域(如生物学心理学)危机严重程度的一些估计发现,这些学科中很大一部分科学出版物受到质疑

驱动重复性危机的主要挑战之一是,科学家通常不分享重复其工作所需的所有信息。考虑到计算方法的日益普及以及此类研究对大型数据集的数据依赖性,访问研究材料对于计算研究的重复性尤为重要。不幸的是,这远非得到保证。

原因有很多。有时,学术方面的考虑,例如避免批评、担心因发现错误而被撤稿以及避免“抢先”,可能会推动这一决定。在其他情况下,随着学术研究和应用研究之间界限的模糊,商业考虑使重复性材料保持私密,以保留其商业化的前景。这创造了一种保密文化,这与科学界开放和共享的基本价值观背道而驰。

知识产权(IP)法在科学领域创造保密文化方面发挥着重要作用。专利和商业秘密保护了研发(R&D)中蕴含的经济潜力。专利法通过为发明提供专有权来实现这一点。然而,获得专利的发明必须是新颖且非显而易见的,这鼓励发明人隐瞒信息(至少在他们提交专利申请之前)。这可能导致他们限制对重复性材料的访问,以最大限度地提高获得专利保护的机会。商业秘密促成不共享规范的机制更为直接:商业秘密法基本上可以保护任何类型的信息,只要它被保密。

因此,虽然知识产权鼓励创新,但它们也可能阻止研究材料的共享并加剧重复性危机。然而,这些权利对研究人员、组织和商业公司都很重要,并以多种方式使他们(以及享受他们努力成果的公众)受益,从经济利益到声誉利益。

为了解决这一冲突,我们提出了一项新的政策工具,该工具可以在不剥夺科学家知识产权保护的情况下促进研究的可重复性:有条件访问协议(CAA)。简而言之,CAA 建立了一个私密的、受控的沟通渠道,用于在作者和重复者之间传输重复性材料。这允许按需重复性,同时保持科学研究的专有潜力。

在 CAA 机制下,当提交论文以供发表时,作者将与期刊签订协议,承诺在其他研究人员要求时提供对重复性材料的完全访问权限。该协议将规定,任何请求访问材料的人只有在签署保密协议(NDA)后才能获得访问权限。NDA 将禁止将原始作者提供的重复性材料用于重复以外的任何目的。由于专利法和商业秘密法仅在公开披露的情况下禁止保护,因此在 NDA 下私下共享的信息不会使获得专利保护的可能性失效,也不会否定商业秘密。CAA 政策之所以可行,要归功于科学期刊作为科学生态系统中强大的中介机构的参与。期刊是负责任科学的守门人,因此,他们持续参与出版物的生命周期,从提交到发表后。CAA 政策也符合期刊促进严谨和可信科学的使命。值得注意的是,CAA 政策对研究人员、重复者和期刊造成的成本极低,因为这种机制的基础设施已经存在,包括数据存储库和用于嵌入 CAA 的在线稿件提交系统。

面对重复性危机,我们认为期刊促进的重复性协议可以改进科学。遵循这条道路将提高科学研究的可重复性,并增加公众对科学的信任。

这是一篇观点和分析文章,作者或作者表达的观点不一定代表《大众科学》的观点。

© . All rights reserved.