更多关于替代计量学

当遇到麻烦或疑虑时,发明新词。我们有印刷时代的文献计量学和科学计量学。现在,它们加入了信息计量学、网络计量学、网络计量学和替代计量学,后者可能不是一个准确的术语,但它很流行(肯定比基于社交媒体的补充指标更流行)。

加入我们的科学爱好者社区!

本文发表在《大众科学》的前博客网络中,反映了作者的观点,不一定代表《大众科学》的观点


当遇到麻烦或疑虑时,发明新词。我们有印刷时代的文献计量学和科学计量学。现在,它们加入了信息计量学、网络计量学、网络计量学和替代计量学,后者可能不是一个准确的术语,但它很流行(肯定比基于社交媒体的补充指标更流行)。在 PLoS 期刊的论文级指标 (ALM)、《自然》为每篇出版物添加了色彩鲜艳的 altmetric.com 甜甜圈以及爱思唯尔巨头在某些期刊中试用甜甜圈之间,我认为我们可以说替代计量学正在席卷全球。从心理学角度来说,替代指标有些令人兴奋。您可以每天看到指标上升,这几乎是一种即时的满足感,而基于引用的满足感可能需要数年时间。另一方面,这会带来很大的压力。我的文章是否被博客报道、在推特上发布、被收藏?这又意味着什么呢?

最后一个问题的答案是 a)“我们还不确定”,以及 b)“取决于指标来源”。替代指标的使用似乎在我们有机会深入研究之前就开始了。这很像七十年代引用被使用的方式,当时关于引用行为的研究才刚刚起步。现在,迈克·泰勒写了一篇关于替代指标的用途及其动机的优秀文章。去读读吧!(当然,在你完成这篇文章之后)。

泰勒列出了替代指标的多种用途


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。


  1. 最终引用的预测——这里有一个有趣的问题:我们是关联说,至少被推文一次的文章的推文和引用,还是将引用与被推文的文章与未被推文的类似文章关联起来?我迄今为止看到的大多数文章都采用第一种方法,并将引用次数与在社交媒体上的出现次数关联起来。然而,在我们的研究中,我们比较了在博客文章中报道的文章和来自同一期刊和同一年但未被我们样本涵盖的文章。我们忽略了出现的次数,而采用了二进制的是/否方法。两种系统在一定程度上都有效,但我们无法判断它们是否适用于所研究学科以外的其他学科。

  2. 衡量/识别组件重用/准备工作/可重复性——数据、代码等——只要您可以可靠地重用它,一切皆可。然而,泰勒提到,材料的使用更多地可能是因为其可用性,而不是学术需求(这让我想起了开放获取文章,它们往往比付费墙后的文章获得更多引用)。

  3. 隐藏的影响(没有引用的影响)——这是一个好主意。泰勒提到了 Mendeley 中被收藏最多的文章(超过 43,000 名读者),《如何选择一个好的科学问题》,它在 Scopus 中仅被引用了 4 次。关于“获取资助的十条简单规则”之类的文章也可以这样说(虽然没有那么夸张),它们在 Mendeley 中有超过 300 名读者,但在 Scopus 中仅有 3 次引用。这些是有用的文章,但不是那种会被引用的文章。在这种情况下,替代指标是真正的补充指标,可以帮助我们记录一篇文章在正式引用之外的全部影响。

  4. 实时过滤/实时评估——实时接收关于文章影响的数据。泰勒警告说,“尚不清楚是否有足够的数据来使这项工作以足够精细的粒度进行,这是否对学者有用,以及他们是否会信任这样的系统。”简而言之,需要更多的研究。我认为这可能会受到马太效应(富者更富)的影响,但这也可以用于许多指标——毕竟,这个术语最初就是用来描述传统学术讨论中的这种现象的。

  5. 衡量社会影响/估计社会影响力——替代指标可以帮助我们衡量学术材料向公众的传播情况。

并非所有替代指标来源都是平等的。我在这里有很大的偏见,但我认为不能从推文的数量中学习太多。一篇文章可能因为标题吸引人或获得了搞笑诺贝尔奖而被转发,但这并不能告诉我们太多关于它的学术影响。现在想想,获得搞笑诺贝尔奖也可以为你赢得博客报道,所以这可能不是一个好例子,但总的来说,我认为真正的(非宣传/垃圾)博客报道比推文更能说明一篇文章未来的影响。推特是关于新闻传播的,它不需要深入的思考和考虑。

尽管 Mendeley 的书签也不需要付出太多努力,但它与引用次数有中等程度的相关性。例如,在 2007 年的《自然》和《科学》文章中,Mendeley 书签与 Web of Science 引用之间的相关系数为 r=0.55。其他学术书签服务的相关性较低,可能是由于受欢迎程度较低(另一个书签服务 Connotea 最近关闭)。

另一方面,F1000 推荐(应该)是经过深思熟虑的,并由相关领域的专业人士撰写的。然而,文章的推荐评级与其引用次数之间的相关性相当弱。也许这是可以预料的,因为只有 2% 的生物医学文章在 F1000 中被推荐。正如作者所说“从某种意义上说,不能期望 F1000 推荐与引用有很强的相关性,因为大约 98% 的生物医学出版物根本没有任何推荐。” 有些 F1000 文章可能是另一个有用但引用较少的文章的例子,因为有一些 F1000 审稿人是临床医生。

我在我的第一篇替代指标文章中说过,但值得重复:替代指标的最大问题是数据并不总是可持续的。一份期刊可以持续几个世纪,并有完善的记录;博客文章可能有一天会消失。另一个问题是数据的相关性。我们不知道这些数据在五年、十年、二十年后是否还有任何意义。替代指标本质上是短暂的,可能会过时,而已经建立的期刊引用则会继续存在。

 

Li, X, Thelwall, M, & Giustini, D (2012). 验证学术计量学的在线参考文献管理器 (91), 461-471 DOI: 10.1007/s11192-011-0580-x

Ludo Waltman, & Rodrigo Costas (2013). F1000 推荐作为研究评估的新数据来源:

与 JASIST arXiv 引用的比较:1303.3875v1

Taylor, M. (2013). 走向通用的引用模型:关于合并替代指标和文献计量学的一些思考研究趋势

© . All rights reserved.