统计缺陷困扰顶尖期刊的脑研究

神经科学家需要复习统计学知识。这是《自然神经科学》杂志上的一项新分析所传达的信息,该分析表明,在为期18个月的时间里,顶尖期刊上超过一半的314篇神经科学文章未能采取充分措施来确保具有统计学意义的研究结果实际上并非错误。

加入我们的科学爱好者社区!

本文发表于《大众科学》的前博客网络,仅反映作者的观点,不一定代表《大众科学》的观点


神经科学家需要复习统计学知识。

这是《自然神经科学》杂志上的一项新分析所传达的信息,该分析表明,在为期18个月的时间里,顶尖期刊上超过一半的314篇神经科学文章未能采取充分措施来确保具有统计学意义的研究结果实际上并非错误。因此,即使经过了艰苦的同行评审,《自然》《科学》《自然神经科学》《细胞》等期刊上的一些论文结果也可能是假阳性。


关于支持科学新闻业

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻业 订阅。通过购买订阅,您正在帮助确保有关塑造我们今天世界的发现和思想的具有影响力的故事的未来。


假阳性问题似乎根植于神经科学家使用的工具和进行的观察越来越复杂。日益增长的复杂性对统计检验中做出的基本假设之一提出了挑战,即每次观察,例如来自特定神经元的电信号,与随后的观察(例如来自同一神经元的另一个信号)无关。

但事实上,在神经科学实验以及生物学其他领域的研究中,产生彼此不独立的读数是很常见的。来自同一神经元的信号通常比来自不同神经元的信号更相似,因此统计学家称数据点是聚类的或“嵌套的”。为了适应信号之间的相似性,来自VU大学医学中心和其他荷兰机构的作者建议,需要一种称为多层次分析的技术来考虑数据点的聚类。

在2012年和2013年上半年调查的包含聚类数据的314篇论文中,有53%的论文没有做出充分的校正。“我们没有看到任何研究使用正确的多层次分析,”首席研究员索菲·范德斯路易斯说。7%的研究确实采取了措施来解释聚类,但这些方法在检测实际生物学效应方面远不如多层次分析敏感。研究人员指出,一些被调查的研究可能报告了假阳性结果,尽管他们无法提取足够的信息来精确量化有多少。未能对数据中的聚类进行统计校正可能会将假阳性发现的概率提高到高达80%——通常认为不高于5%的风险是可以接受的。

威尔康奈尔医学院神经科学教授乔纳森·D·维克多对这项研究表示赞扬,称其“提高了人们对嵌套设计特有缺陷的认识,并指导您如何在资源有限的情况下创建一个良好的嵌套设计。”

麻省理工学院-哈佛大学健康科学与技术部脑与认知科学系的计算神经科学教授埃默里·N·布朗指出,迫切需要提高神经科学研究中应用的统计复杂程度。“系统存在一个根本缺陷,根本缺陷基本上是神经科学家不掌握足够的统计学知识来做正确的事情,也没有足够的统计学家在神经科学领域工作来帮助解决这个问题。”

近年来,研究结果的可重复性问题一直困扰着许多顶尖期刊的编辑。《自然》杂志已经制定了一个清单,以帮助作者报告其研究中使用的方法,该清单询问特定研究的统计目标是否已实现。(《大众科学》是自然出版集团的一部分。)范德斯路易斯等人的研究以及其他研究的明确信息是,随着该领域在解读越来越密集的神经信号网络方面取得进展,统计学家将发挥越来越关键的作用。

图片来源:Zache

Gary Stix, senior editor of mind and brain topics at 大众科学, edits and reports on emerging advances that have propelled brain science to the forefront of the biological sciences. Stix has edited or written cover stories, feature articles and news on diverse topics, ranging from what happens in the brain when a person is immersed in thought to the impact of brain implant technology that alleviates mood disorders such as depression. Before taking over the neuroscience beat, Stix, as 大众科学's special projects editor, was responsible for the magazine's annual single-topic special issues, conceiving of and producing issues on Albert Einstein, Charles Darwin, climate change and nanotechnology. One special issue he oversaw on the topic of time in all of its manifestations won a National Magazine Award. With his wife Miriam Lacob, Stix is co-author of a technology primer called Who Gives a Gigabyte? A Survival Guide for the Technologically Perplexed.

More by Gary Stix
© . All rights reserved.