理论物理学家爱德华·威滕在他所在领域的影响力是否比生物学家所罗门·斯奈德在生命科学家中的影响力更大?他们各自的学术影响记录与卡尔·马克思在历史学家和经济学家中的地位,或西格蒙德·弗洛伊德在心理学家中的地位相比如何?
基于引用率等数值的绩效指标受到领域的严重影响,因此大多数衡量专家都避开跨学科比较。例如,普通生物化学家的得分总是高于普通数学家,因为生物化学吸引了更多的引用。
但是,印第安纳大学布卢明顿分校的研究人员认为,他们已经找到了纠正这种学科偏见的最佳方法。他们正在网上公布他们的分数,首次让学者们可以跨领域比较排名。
支持科学新闻
如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道: 订阅。通过购买订阅,您正在帮助确保未来有关塑造我们当今世界的发现和想法的具有影响力的故事。
他们对近 35,000 名研究人员的临时(且不断更新)排名依赖于通过 Google Scholar 进行的查询来规范称为 h 指数的流行指标(h 指数为 20 的科学家至少发表了 20 篇论文,每篇论文至少被引用 20 次,因此该指标考虑了研究的数量和受欢迎程度)。结果发现,截至 11 月 5 日,最有影响力的学者是历史领域的卡尔·马克思,领先于心理学领域的西格蒙德·弗洛伊德。排名第三的是爱德华·威滕,他是新泽西州普林斯顿高等研究院的物理学家。该排名出现在网站 Scholarometer 上,该网站由印第安纳大学布卢明顿分校的信息学家 Filippo Menczer 及其同事 Jasleen Kaur 和 Filippo Radicchi 开发。
通用指标
“我们认为人们渴望看到这种排名。我们的同事一直在使用 Google Scholar,但它只显示 h 指数,”Menczer 说。“我们一直在问‘我们如何评估我们不了解的学科的人?’”
10 月,Menczer 的团队发表了一篇论文,认为消除学科偏见的最佳统计方法是将研究人员的 h 指数除以其学术领域的平均 h 指数。
使用这种校正方法,马克思的得分是其他历史学者的平均 h 指数的 22 倍以上(但比平均经济学家的得分高出 11 倍)。威滕的得分是平均物理学家的 13 倍以上,以此类推。其效果是确保那些在其学科中排名前 5% 的人也出现在所有学者中的前 5%。
这个想法并不新鲜。指标专家发明了多种方法来解决偏见,通常使用基于年龄、期刊和学术领域的平均值。商业信息公司(如汤森路透)提供标准化指标。
一切都有第一次
但是 Scholarometer 在两个方面突破了界限。最重要的是,它的标准化分数是免费访问的,不像大多数网站的分数。汤森路透的分析基于专有数据库,不能公开。另一个网站 Publish or Perish 从对 Google Scholar 的公开查询中返回各种按年龄和领域标准化的指标,但一次只能返回给一个人。问题在于,Google Scholar 会阻止通过多个查询访问它的自动化计算机程序,从而无法整理分数。
印第安纳团队的解决方案是创建一个自动化程序,该程序不查询 Google Scholar 本身,而是抓取通过 Scholarometer 浏览器扩展程序放置的单个 Google Scholar 查询的结果。多年来,他们建立了一个动态公共数据库,随着新的 Google Scholar 查询的出现,h 指数不断修订。Menczer 表示,可能会随后推出一个按年龄校正的 h 指数,该指数允许比较处于不同职业阶段的学者。
标准化问题也比看起来要复杂得多——你如何决定什么是领域?例如,一名干细胞研究人员可能会认为,用所有生物学家的平均分来修正他们的分数是不公平的。Scholarometer 团队将其信任寄托在众包上,根据 Google Scholar 查询中建议的标签将研究人员置于多个领域。例如,马克思被标记为历史学家、经济学家和哲学家,他在历史领域的得分最高。
Scholarometer 的成功取决于 Google Scholar 的准确性,而 Google Scholar 远非全面或一致。“像 Scholarometer 这样的基于用户的工具很难为公平比较和领域标准化提供一致的结果,”德国斯图加特马克斯·普朗克固体研究所研究学术指标的维尔纳·马克思说。并且校正后的 h 指数只是一种衡量标准。专家建议使用一系列指标,以及同行评审的意见,来比较研究人员。
“我倾向于不太看重这些数字,我从来没有听说过 h 指数,”田纳西州孟菲斯圣裘德儿童研究医院的生物化学家詹姆斯·伊勒说,他曾经在 Scholarometer 排名中位列第四。伊勒说,如果您作为评估者必须仅仅依靠校正后的 h 指数来比较学者,“那么您很蠢,而且您不了解自己在做什么”。
但 Menczer 说,关键在于公开纠正流行指标的偏差。“它可以让人们超越他们的学科进行思考。”