原文以Reviewers are blinkered by bibliometrics为标题
发布在2017年4月26日的《自然》评论上
原文作者：Paula Stephan, Reinhilde Veugelers& Jian Wang
科研评委会还在依赖糟糕的指标来评判一项科研的质量和影响，这只会带来越来越多的“安全”研究。
科研评委会成员表面上赞赏的研究和他们实际上支持的研究是割裂的。我们曾参加过多个评委会，
听过许多人抱怨研究者不愿做有风险的研究。但是我们也看到，做出抱怨的这些评委自己也在规避风险，
他们依赖文献计量指标来做评估，尽管众所周知，这些指标是不完美的。
插图： David Parkins
在我们去年的观察中，科研评委会使用文献计量指标的方式和2015年的《莱顿宣言》
（Leiden Manifesto）
、2012年的《旧金山研究评估宣言》
（San Francisco Declaration on Research Assessment，《自然》已签署这项宣言）
，以及类似的反对文献计量指标的倡议发生前相比没有差别。不管怎么说，用文献计量指标能够方便地评估大量申请文书和论文。
虽然发明期刊影响因子
（JIF）
的初衷是为了评估期刊，而不是单独的论文，但是评审人习惯用被评审对象论文发表的期刊来为自己的评价作辩护。科研评委会成员用谷歌学术搜索的结果来评价候选人，用引用量来给新研究计划打分。即使在欧洲研究委员会
（ERC）
一类的机构里，这类行为也很普遍，要知道欧洲研究委员会是禁止评审人检索文献计量指标的。
作为研究科学与创新的经济学家，我们看到根深蒂固的评审程序与众人所珍视的目标背道而驰。我们采访的
科学家常说，他们在经费申请书里不敢提出大胆的研究项目，部分原因是因为怕别人期望他们在高影响因子的期刊里源源不断地发表论文。
实际上的情况可能比想象的还糟糕。我们对15年的引用数据的分析表明，常见的文献计量指标依赖短期的数据，
它们低估了冒险的研究。
那么我们怎样才能将宣言付诸实践，让评阅人放弃那些对大胆研究不利的文献计量指标呢？
捷克、比利时北部的弗兰德斯地区以及意大利的一些资助机构明确要求申请人在论文列表边上罗列期刊影响因子数据。但是这种要求并不常见，欧洲研究委员会、中国国家自然科学基金、美国国家科学基金会
（NSF）
和美国国立卫生研究院
（NIH）
并不要求申请人报告文献计量数据。
但是申请人还是会这么做。加拿大自然科学与工程研究理事会
（NSERC）
的经费申请人可以选择性地提供论文引用量、期刊影响因子以及其他指标，如H指数
（由引用量计算而得）
。申请人报告期刊影响因子以及论文引用量是很稀松平常的事；支持他们申请的大学和机构常常建议他们这么做。
当研究人员被要求挑选出自己最有分量的论文时，他们的标准常常是期刊影响因子以及短期引用量，而不是对研究价值的更细致入微的评价。这可以理解，因为如果没有文献计量指标，评阅人也会在做出决定前下载这些数据。
在涉及招聘和升职决策时，文献计量指标承担了更为重大，也往往更正式的角色。在西班牙，“六年”评估
（根据科研生产力涨工资的评估）
严重依赖期刊影响因子指标来进行排名。在意大利，对每一个升职候选人，评阅人都握着一套正式的文献计量指标履历。
在欧洲、美国和中国的许多大学校园里，教职员工手上都有一套期刊列表，列表里的期刊在评估升职候选人时占的权重最大。在一些国家，尤其是中国，科研人员的奖金和论文发表的期刊声誉直接挂钩。
在我们自己的大学里，在委员会讨论候选人的研究价值时，院长和系主任要对候选人的论文引用量和期刊影响因子指标进行总结，这已然成了标准程序。在年轻教职员工的晋升遴选中，同事和外部评阅人一般会参考他们的文献计量指标。招聘委员会在挑选候选人时可能也特别看重这些指标，因为指标好的候选人能为机构吸引科研经费。
背后的原因显而易见。政府资助机构用这些指标来决定如何给大学分配资源。接着，大学用这些指标来给各个系分配资源。比如在比利时弗兰德斯地区，为大学分配经费的公式里包含了以期刊影响因子为权重的论文发表数量。在巴西，Qualis
（由巴西教育部下属官方机构管理的科研产出评价系统）
就用期刊影响因子来决定经费的分配。英国的研究卓越框架
（Research Excellence Framework， REF）
算是少有的例外，因为它公开宣称不使用JIF指标。
对浮夸论文的追求迫使科学家们一拥而上，做内容相似而竞争激烈的项目；或者迫使他们铤而走险，或夸大研究发现的重要性。关于这些问题的讨论已卷帙浩繁。我们认为问题实际上更严重：广受欢迎的短期文献计量指标会阻碍冒险的研究，而这些研究有可能拓宽科学知识的边界。
我们利用Web of Science的数据库分析了在2001年发表的超过66万篇论文的引用数据。我们想要分析冒险的研究的期刊影响因子以及引用量的变化。我们对冒险的研究的界定是，一篇论文的参考文献是否包含了新鲜的期刊组合，同时我们将这种组合的各种可能也考虑在内。比如，发表在《生物化学杂志》
（
Journal of Biological Chemistry
）
上的一篇论文显示某个知名抗精神病药物和某种蛋白质发生了反应，并且用这个现象来识别其他的生物效应。
在它的参考文献中，《基因表达》
（
Gene Expression
）
首次和其他期刊，
如《临床精神医学杂志》
（
Journal of Clinical Psychiatry
）
以及《神经精神药理学》
（Neuropsychopharmacology）
搭配在了一起。实际上，它的42个参考文献可以组成861个期刊组合，其中9个是全新的。
我们发现89%的论文的引用期刊没有新的组合。而在11%的那些出现了新组合的论文中，大多数
（54%）
