开放同行评审简介

上一篇文章我们讨论了传统的同行评审,它至少是单盲的。这次我们将重点关注开放同行评审(OPR)。描述OPR最狭义的方式是,作者和评审者的姓名彼此已知的一个过程。

加入我们的科学爱好者社区!

本文发表在《大众科学》的前博客网络中,反映了作者的观点,不一定代表《大众科学》的观点


上一篇文章我们讨论了传统的同行评审,它至少是单盲的。这次我们将重点关注开放同行评审(OPR)。描述OPR最狭义的方式是,作者和评审者的姓名彼此已知的一个过程。除了这个狭义的定义,OPR还可以分为多种类别(Ford,2013)

  • 署名 - 评审者的姓名出现在已发表的文章旁边,或者传递给作者的评审意见上有评审者的姓名。

  • 公开 - 作者和评审者都知道对方的身份,并在评审过程中进行讨论。

  • 编辑主持 - 当编辑促进同行评审过程的一部分时,无论是通过预先选择要评审的文章和/或对文章做出最终决定。

  • 透明 - 整个评审过程是“公开的”,包括原始手稿、评审者的评论和作者的回复。

  • 众包 - 任何人都可以对文章发表评论(在正式发表之前)。

  • 发表前 - 在文章发表之前发生的任何公开评审(例如提交给预印本服务器的文章)

  • 同步 - 应该在文章发表的确切时间发生。实际上,它不存在。正如福特指出的那样:“在文献中,同步评审只是在理论上被探讨,作为一种新颖的、完全迭代的出版模式的一部分。”

  • 发表后 - 在文章发表后发生(例如,博客文章、F1000Prime 评论)。

2006 年,《自然》杂志进行了一项为期四个月的 OPR 试验。除了传统的同行评审之外,提交给《自然》杂志且未被直接拒绝的每篇文章(大约 60% 发送给《自然》杂志的文章未经评审就被拒绝)的作者可以选择是否将其文章在线展示以供公众评论。在《自然》杂志在那段时间评审的 1,369 篇文章中,有 71 篇(5%)的作者选择接受 OPR。该试验在《自然》杂志提前进行了广泛宣传,但评论却很少。评论最多的文章收到了十条评论,而 33 篇文章没有收到任何评论。正如《自然》杂志所说:“尽管人们对这一概念充满热情,但开放同行评审并没有在作者或被邀请发表评论的科学家中得到广泛普及。” 尽管《自然》杂志的实验被认为是失败的,但其他 OPR 实验已被证明更为成功。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保关于当今塑造我们世界的发现和思想的具有影响力的故事的未来。


《生物学直报》期刊的编辑去年发表了一篇题为“生物学直报:庆祝开放、发表的同行评审七周年”的文章。在 BD 中,“署名的评审意见和作者回复作为每篇文章的最终版本的组成部分发布。”

(Koonin, Landweber & Lipman, 2013)。在最初的七年中,BD 发表了 365 篇研究文章。尽管《自然》杂志和 BD 的方法都被称为 OPR,但《自然》杂志似乎选择了众包路线,而 BD 则选择了透明路线。

当然,《自然》杂志的实验和 BD 之间还有许多其他差异:《自然》杂志几乎不是一本新的、未成立的期刊;《自然》杂志的实验只持续了四个月,而且 OPR 对于作者来说是可选的,而不是强制性的;BD 致力于 OPR “我们努力建立一个新的同行评审系统,我们希望能够避免匿名同行评审的所有显而易见的缺陷,”而《自然》杂志无意取代其当前的系统;《自然》杂志是多学科的,而 BD 则专注于生物学的核心领域。

《大气化学与物理学》(ACP) 于 2001 年启动,采用了多阶段 OPR。提交的文章首先经过快速筛选,如果认为适合该期刊,则在其讨论论坛中以“讨论论文”的形式发表。它们在那里停留八周,在此期间,指定的审稿人的评审意见、其他评论(如果存在)以及作者的回复也会在论坛中发表。指定的审稿人可以决定是否署名他们的评审意见,但其他评论都是署名的(只有“注册读者”才能评论)。然后,如果需要,手稿将进行修改,如果需要,将再次进行同行评审(由指定的审稿人进行)。如果手稿被接受,在过程结束时,它们将在期刊上正式发表。ACP 每年发表约 800 篇文章。

ACP 编辑 Ulrich Pöschl (2012) 指出了该过程的优点

1. 快速传播结果和关于这些结果的无审查交流。

2. 一种正式记录有关文章的争议和讨论的方法,以及减少剽窃机会的方法;更好地发现文章缺陷的机会。

3. 基于指定审稿人的评审意见和感兴趣的读者的评论的最终产品。

 

ACP 同行评审过程(来源:Pöschl,2012)。

请注意,在任何期刊中,众包同行评审都没有取代指定的审稿人。它被视为补充材料。这是因为,首先,许多文章甚至没有收到评论。即使收到评论,我们也无法确定评论者是否真的是“同行”。考虑到研究人员已经过度劳累,而且大多数人不会费心进行他们没有被专门要求进行的评审,评论的普遍缺乏并不令人惊讶。另一个问题是公开批评。科学家经常避免公开批评他们的同行,并且通常会忽略他们认为不相关或有缺陷的工作(Cole & Cole,1971)。van Rooyen 等人(1999 年)发现,被要求签署评审意见的指定审稿人拒绝评审文章的可能性高出 12%。

生物学家和博主 Zen Faulkes 准确地写道

“当 PLOS ONE 于 2006 年推出时,其突出的创新之一是为用户提供工具,以便他们非常容易地对论文进行评论和评分。这些工具基本上都没有被使用。我不知道有哪个期刊有一个蓬勃发展的在线社区来讨论期刊内的论文。”

Faulkes 认为,期刊尝试为其文章创建特殊的讨论论坛,以及为科学家和发表后同行评审站点指定的社交媒体站点,在科学评估方面都不如常规社交媒体有效。他认为社交媒体上的发表后同行评审不是传统意义上的同行评审,而是“世界上最大的研究会议”。

引用 Steven Harnad 的话:“经过同行评审的期刊文献需要从纸张及其成本中解放出来,但不能从同行评审中解放出来,同行评审的‘看不见的手’是维持其质量的原因。”

传统的同行评审(有指定的审稿人)不会很快过时,但现在比以往任何时候都更容易用进一步的讨论来补充它,无论是在正式发表之前还是之后。

 

参考文献

Cole, J., & Cole, S. (1971). 衡量社会学研究的质量。科学引文索引使用中的问题。美国社会学家,6(1), 23–29。

社论 (2006)。同行评审的考验 《自然》, 441 (7094), 668-668 DOI: 10.1038/441668a

Faulkes, Z. (2014)。真空反击:社交媒体上的发表后同行评审 《神经元》, 82 (2), 258-260 DOI: 10.1016/j.neuron.2014.03.032

Ford, E. (2013)。定义和描述开放同行评审:文献综述 《学术出版期刊》, 44 (4), 311-326 DOI: 10.3138/jsp.44-4-001

Greaves, S., Scott, J., Clarke, M., Miller, L., Hannay, T., Thomas, A., & Campbell, P. (2006)。概述:《自然》杂志的同行评审试验。自然

Harnad, S. (2000)。同行评审的无形之手。Exploit Interactive, 5(四月)。

Koonin, E. V., Landweber, L. F., & Lipman, D. J. (2011)。已发表的同行评审。Biol Direct, 6, 35。

Pöschl U (2012)。多阶段开放同行评审:科学评估,将传统同行评审的优势与透明和自我监管的优点相结合。计算神经科学前沿, 6 PMID: 22783183

van Rooyen, S., Godlee, F., Evans, S., Black, N., & Smith, R. (1999)。开放同行评审对评审质量和审稿人建议的影响:一项随机试验。《英国医学杂志》, 318(7175), 23–27。

© . All rights reserved.