引文分析有什么问题?

加入我们科学爱好者的社区!

本文发表于《大众科学》的前博客网络,反映了作者的观点,不一定代表《大众科学》的观点。


引文分析有什么问题?

除了你的论文引用次数不够,用引文计数来衡量科学影响力还有什么问题?基于引文分析来决定资助、晋升等事项的做法已经变得很流行,原因之一是它们被认为是“公正的”。毕竟,这种分析给出了连非专业人士都能理解的数字,帮助他们做出最好和最准确的决定。

上面写的都是客气的虚构。为什么?首先,引文分析只能使用书面的、实际的引文,但是受到某事物的影响并不意味着你会自动提及它。引文分析背后一个基本假设是,所有,或至少大部分的影响都会在文章中被引用。事实并非如此。MacRoberts和MacRoberts(2010)将影响定义为:“当作者在文本中直接或通过二手来源使用了他人的作品时,就明显受到了该作品的影响。” 根据他们进行的一系列研究,只有大约30%的影响会被引用。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过 订阅来支持我们屡获殊荣的新闻报道。通过购买订阅,您将帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。


二手来源 - 再见,引文。一旦你的文章被一篇或两篇综述文章报道,你的发现通常会归功于综述文章,而不是你自己的文章。我只引用了两篇MacRoberts & MacRoberts的文章,其中一篇是综述,因为A. 我只读过这些,B. 我太懒了,不想阅读和引用他们引用的所有研究。这对于非正式的科学文献来说是可以接受的。但是,如果这是一篇经过同行评审的文章,所有未单独引用的作者和文章都将失去一次引用。综述文章被如此频繁地引用的原因就在这里。

没有非正式引用。你和你的论文导师之间或者在午餐时的会议上进行的那些重要的对话永远消失了,即使你可能从中获得了一些最好的想法。你印象深刻但找不到地方引用的论文也遭遇了同样的命运。再次引用MacRoberts和MacRoberts(1996)的话:

“如果想知道特定研究中受到了哪些影响,只有一种方法:去实验室,密切关注科学家工作和与同事互动的情况,检查他的实验记录本,密切关注他阅读的内容,并认真考虑他的文化环境。”

他们说得对,但他们的建议几乎不切实际。这就是为什么在过去几年里,文献计量学家一直在尝试提出学术社交媒体引用的指标。正如Altmetrics宣言(2010)所说“...那篇以前放在书架上(但未被引用)的破旧文章现在存在于Mendeley、CiteULike或Zotero中——我们可以在那里看到并计算它。” 不幸的是,Altmetrics指标仍然远非准确(并非说引文指标准确,但我们只能使用它们)。如果我们要在这个组合中添加新的指标,它们最好是好的。

有限的数据库。我之前在这个博客中提到过,但值得重复一遍:引文数据库痛苦地仅限于一小部分科学出版物,其中大部分是经过同行评审的期刊。我的博客文章的特征分析在Google Scholar上有六次引用,但在Scopus中只有两次。这就是为什么你的GS指数通常高于你的Web of Science和Scopus指数的原因之一。我的论文导师迈克·塞尔沃尔教授在GS中的h指数为47,在Scopus中为31,在WoS中为25。它们都是正确的,也都是错误的。这取决于覆盖范围和更新速度。

马太效应 - 或者说“富者更富”。人们倾向于引用已经被广为人知的研究人员引用的材料,要么是因为他们读过这些材料,要么是因为他们要利用更知名人士的权威,或者两者兼而有之。

多种动机 - 正如这个有用的漫画所展示的,引文的动机有很多,其中很多与我们希望的“该给的荣誉”不太相关。

Jorge Cham的真实影响因子,PhD漫画

 

即使一个人在引用时试图尽可能诚实和准确,她也只能引用她熟悉的东西,而且一个人可以阅读的文章数量是有限的(这再次成为综述文章流行的因素之一)。她会引用她的教授、她的合著者、她在会议上听到的人以及她所在领域的知名人士,但无论如何她都一定会错过一些相关的材料。

尽管引文分析看起来很有吸引力,但它并不像我们想象的那么准确。它只代表了科学世界的一部分,不应被奉为圭臬。

编辑:恐怕原帖中有一个错误 - 迈克·塞尔沃尔的Web of Science h指数是25而不是15。

MacRoberts, M., & MacRoberts, B. (1996). 引文分析的问题。 科学计量学, 36 (3), 435-444 DOI: 10.1007/BF02129604

MacRoberts, M., & MacRoberts, B. (2010). 引文分析的问题:对未引用和很少引用的影响的研究。 美国信息科学与技术学会杂志, 61 (1), 1-12 DOI: 10.1002/asi.21228

Priem, J., Taraborelli, D., Groth, P., & Neylon, C. (2010). altmetrics: 宣言 http://altmetrics.org/manifesto/

 

© . All rights reserved.