当实验未能产生有趣的效果时,研究人员通常会将数据搁置,转而研究另一个问题。但是,隐瞒零结果会扭曲某个领域的文献,对于临床医学和社会科学来说尤其令人担忧。
加利福尼亚州斯坦福大学的研究人员现在已经衡量了该问题的严重程度,发现社会科学研究样本中的大多数零结果从未发表。这种发表偏倚可能会导致其他人浪费时间重复这项工作,或掩盖重复已发表研究的失败尝试。斯坦福大学政治学家尼尔·马尔霍特拉领导了这项研究,他说:“尽管这已被公认为是一个问题,但以前很难证明,因为未发表的结果很难找到。”
他的团队调查了2002年至2012年间进行的221项社会学研究的命运,这些研究由 社会科学时分实验(TESS)记录在案,TESS是一个美国项目,旨在帮助社会科学家进行大规模的人民观点调查。
关于支持科学新闻报道
如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保未来能够继续讲述关于塑造我们当今世界的发现和思想的具有影响力的故事。
仅有48%的已完成研究得以发表。因此,该团队联系了其余作者,以了解他们是否已撰写结果,或将其提交给期刊或会议。他们还询问结果是否支持研究人员的原始假设。
在所有零结果研究中,只有20%发表在期刊上,65%甚至没有被撰写出来。相比之下,大约60%的具有显著结果的研究已经发表。马尔霍特拉团队联系的许多研究人员表示,他们没有撰写零结果,因为他们认为期刊不会发表这些结果,或者认为这些发现既不有趣也不重要,不值得进一步努力。
马尔霍特拉说:“当我展示这项工作时,人们会说,‘这些发现是显而易见的;你所做的只是量化了我们凭经验已知的事情’。”但他表示,社会科学家常常低估了偏倚的程度,或者将零结果研究被拒的责任归咎于期刊编辑和同行评审员。他团队的发现今天发表在《科学》杂志上。
被成功蒙蔽
这个问题可能比TESS样本表明的还要严重。提交给TESS的每项调查设计都经过同行评审,以确保其具有足够的统计能力来检验一个有趣的假设;这些领域中较弱的研究的发表率可能更低。研究发表偏倚和不端行为的进化生物学家丹尼尔·法内利目前是加拿大蒙特利尔大学的访问教授,他说:“这项研究很可能低估了问题的真实程度。”
2010年,法内利调查了各个学科的发表偏倚,发现心理学和精神病学最倾向于发表阳性结果。加州大学圣地亚哥分校拉霍亚分校的心理学家哈尔·帕什勒说:“但这不仅仅是社会科学问题,在生物医学科学中也很常见。”“两者都真正因只听到成功而受到毒害。”(参见“‘道德失范’导致四分之一的临床试验未发表”。)
社会科学家已经在尝试解决发表偏倚问题(参见“‘重复研究:不良副本’”)。马尔霍特拉参与了“社会科学透明度伯克利倡议”,该倡议提倡一系列加强社会科学研究的策略。一种选择是将所有社会科学研究记录在一个跟踪其结果的注册表中——这种模式已经用于帮助确保药物试验的零结果得以公开。与此同时,帕什勒建立了一个网站“PsychFileDrawer”,以收集在实验心理学中重复研究结果的尝试产生的零结果。
然而,这些补救措施并未受到普遍欢迎。马尔霍特拉说:“已经有很多抵制。”一些社会科学家担心,坚持注册研究计划可能会阻止他们从数据中意外的相关性中做出偶然的发现。但帕什勒补充说,大多数人接受变革的必要性:“我们都在逐渐意识到这一点。”
本文经许可转载,最初于2014年8月28日首次发表。