本文发表于《大众科学》的前博客网络,反映了作者的观点,不一定反映《大众科学》的观点
到目前为止,我还没有写过关于替代计量学的文章。不是因为它不是一个有价值的主题,而是因为我不知道从哪里开始。
“替代计量学”这个术语最初是由北卡罗来纳大学教堂山分校的博士生Jason Priem在推文中提出的,他与Heather Piwowar共同创立了Impact Story(声明:Jason偶尔是合作作者)。它是“替代指标”的缩写,尽管这些指标最好被描述为“补充指标”或“附加指标”。因此,替代计量学是基于网络的指标术语中最新流行的词语。
三年前,Jason Priem、Dario Taraborelli、Paul Groth 和 Cameron Neylon 撰写了《替代计量学宣言》(2010)。它的第一句话是一个痛苦的真相:“没有人可以阅读所有内容。”他们写了我们传统的过滤器——同行评审期刊——存在的不足之处。他们列举了同行评审、诸如 h 指数之类的现有指标以及期刊影响因子的诸多缺陷,这些都是决定寻找新指标的因素。什么样的新指标?嗯,主要是基于社交媒体的指标。从 Twitter 到 Instagram 的一切都可以成为替代计量数据的潜在来源,只要那里有学术材料。当然,对我来说,研究博客似乎是最有希望的来源,但你知道我带有偏见。不到三年后,替代计量学这个子领域几乎出现了爆炸式增长。有趣的是,当试图证明一个来源是有效的时候,大多数文章都会展示它与引用的相关性。引用仍然是衡量影响的标准。
关于支持科学新闻报道
如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保关于塑造我们当今世界的发现和想法的有影响力的故事的未来。
公共科学图书馆 (PLoS) 期刊是每个文章中展示传统指标和替代指标的期刊先驱。PLoS 文章的指标页面显示了从使用情况指标到 Mendeley 书签再到期刊引用的所有内容。Nature 最近采用了商业公司 altmetric.com 的替代计量学“甜甜圈”,该公司从各种替代计量学来源收集数据,并将其呈现为,嗯,甜甜圈。
甜甜圈往往是淡蓝色的,因为那是代表 Twitter 的颜色,并且推文比博客文章多得多。深蓝色代表 Facebook,黄色代表博客等。不幸的是,Nature 在每篇文章中使用替代计量学甜甜圈破坏了我的“替代计量学”Google 提醒,现在我不断收到普通的 Nature 文章,而不是相关的替代计量学文章。
Holbrook、Barr 和 Brown (2013) 写了一封给 Nature 的简短信件,其中总结了替代指标的许多可能性;从“引发诉讼”到“编写教科书”再到“创造短语”。我不确定表格中的所有指标——我怀疑作者是否确定——但它们代表着令人着迷的可能性。
表 1:其他可能的影响指标
公众参与 | 学术界 | 媒体 |
抗议、示威或逮捕 | 演讲、咨询或评论邀请 | 文章下载量 |
引发诉讼 | 跨学科成就 | 网站点击量 |
来自重要人物的愤怒信件 | 顾问任命 | 媒体提及 |
与重要人物会面 | 密切合作者的声誉 | 媒体引用 |
参与公众教育 | 作为团队成员的声誉 | 创造短语 |
政策制定者提及 | 编写的教科书 | 社交媒体上的热议 |
公开研究讨论 | 在推荐和调查中引用 | 博客提及 |
揭发丑闻 | 在演讲和会议上的听众规模 | 书籍销售 |
政策文件中引用 | 开发有用的指标 | 创造流行语 |
煽动民众 | 课程输入 | 社交网络联系人 |
与国外公民的互动 | 教师推荐、奖项 | 电视和广播采访 |
新指标带来了新的挑战。一个挑战是数据的可靠性。以名称变体的难题为例;它一直是文献计量学家存在的祸根之一,并且它也跟随我们来到了替代计量学。当然,这就是为什么你应该有一个 ORCID 号码。研究人员的 ORCID 号码相当于文章的 DOI。无论名称如何变化,您的号码将始终保持不变,因此您的所有成果都将归功于您,您也将获得文献计量学家的永恒感谢。用于聚合替代计量数据的新工具有时不太可靠,并且每个工具都显示不同的结果(!)。我的两次会议文章的合作者 Stefanie Haustein 在她的第二篇文章的演示文稿的结尾处展示了这一点,你可以自己查看结果
不同的指标(取自 Haustein 等人的演示文稿)
正如 Stefanie 所说,这些工具是黑匣子。
另一个问题是替代计量学被操控的可能性。并不是说引用没有被定期“操控”,但它需要付出更多的努力,而且你不能购买引用(也许可以用引用来交换,但通常不能直接购买)。另一方面,今天可以购买推文、Facebook “赞”和 Mendeley 书签。一旦出版商、编辑和研究人员注意到替代计量学,一场军备竞赛将开始,文献计量学家将更难发现欺诈行为,因为数据来源太多了。
替代计量学实际上告诉我们什么?我认为,这是最大的挑战。关于引用的含义有很多理论,但普遍的假设是,引用代表了引用它们的作者的影响(我知道,这过于简单化了)。然而,替代计量学的来源差异很大,并且(我们假设)代表着不同类型的影响。你不能将推文与书签与 f1000 专家意见与博客文章进行比较。另一件事是相关来源会发生变化。五年后 Twitter 会成为相关来源吗?Mendeley 呢?替代计量学依赖于可能无法持续的信息来源。
替代计量学何时会停止成为替代品?我的回答是,在您看到晋升委员会和资助机构定期使用它们之前,它们将继续是“替代品”。
完全不同的东西
如果你还记得,我之前写过关于莱顿排名的文章。在数学和计算机科学领域,有一个奇怪的异常:土耳其大学 Ege 排在第二位,仅次于斯坦福大学,高于哈佛大学。当我第一次看到它时,我假设这是一个“Shelx”案例,其中一两篇高影响力的文章让 Ege 达到了这个排名。然而,一位土耳其读者 Tansu Kucukoncu 写信告诉我,Ege 的排名可能是基于欺诈行为:在该领域的 Ege 大学发表的 210 篇出版物中,有 65 篇是由一个人 Ahmet Yildirim 撰写的,他总共撰写了 279 篇。Yildirim 被《数学物理杂志》指责抄袭,他的文章被撤回。如果您想了解更多关于此案的信息,我建议您阅读来自莱顿的 Paul Wouters 的帖子,他参与了他们的排名。
Stefanie Haustein、Isabella Peters、Judit Bar-Ilan、Jason Priem、Hadas Shema 和 Jens Terliesner (2013)。文献计量学中替代计量学来源的覆盖率和采用率 ISSI 会议 arXiv: 1304.7300v1
社区