任何曾经向peer-reviewed期刊投稿过的人都知道审稿人有时可能会很不悦。虽然拒绝总是刺痛人心的,但有时候审稿人完全错过了稿件的要点,要么是过于激进的审稿,甚至干脆将作者置于不可能达到的标准,令人感到厌恶。而这种沮丧的情绪明显的变得针对个人——第二审稿人。他承受了来自学者的所有憎恨。第二审稿人被评价为不屑于别人作品,懒惰,激进且自鸣得意。
本文的目标是确定第二审稿人是否该背锅。文章使用了政治行为(Political behaviour)期刊四年的审稿数据,通过实证手段研究了第二审稿人是否存在系统性给出负面或者和其他审稿人截然不同的意见的情况。
没有文献系统性的研究过审稿人的编号和给出负面评价概率的关系。
另一方面审稿人很多情况下并不知道自己的编号。
对于
Political
Behaviour
,审稿人的编号并不是由审稿人决定的。
当编辑向审稿人同时发出审稿要求后,审稿人回复的先后决定了审稿人编号。
本研究的动机来自学术界广泛的认同即第二审稿人是魔鬼。如果你谷歌第二审稿人,你会发现大量对其的负面评价。比如脸书上有一个叫“Reviewer 2 Must Be Stopped!”的9000人群组,还有一个叫“How Not to Be Reviewer #2”的博客,事实上你可找到无数讥讽第二审稿人的图片。在学术界Sjoberg (2016) 总结了如何避免成为第二审稿人 “But when in doubt, use the ’don’t be an asshole’ rule—either when reviewing, or more generally in professional interaction. Thinking of it in those terms might make less ’Reviewer 2’ like-sorts in the world.”
本文把Political Behaviour收到的稿件分类为 ‘Accept’——1,“Minor Revision“——2,“Major Revision”——3,”Reject“——4,这也是研究的第一个因变量。但是总的评价很难把握第二审稿人的概念。当所有审稿人的意见都是负面的时候,作者很难单独责怪某人。只有当两个审稿人给了正面意见而另一个给了相当负面的评价时,另外一个人才是真的“第二审稿人”。如果不进行这样的审查,编辑本会要求对稿件进行“revise and resubmit“。所以本文采用的二分法,‘第二审稿人”的行为被定义为他的评价比其他两位审稿人评价的平均更低。也就是说在第二组分析中,当审稿人给出的意见之上比其他两个审稿人给出的平均意见要低一个等级时,将其编码为1,否则则为0,这是第二组分析的因变量。
对假设检验的过程则是第一组使用Ordered logit model,其中审稿人的编号是自变量,标准差根据稿件聚合。第二组分析则使用logit,除了因变量其余保持一致。
表一中第一组分析中并没有发现不同编号的审稿人给出审稿意见有显著差异,但是简单的分析可能没办法抓住第二审稿人的行为。比如如果稿件很差,所有的审稿人都会给出差评。所以审稿人可能是一种outlier,必须要在稿件得到足够好的评价时才能凸显。表二进一步分析得到了审稿人编号对给出比其他两位审稿人更低评价的概率的显著效应。出奇的是审稿人三看起来更容易成为得罪作者的人。
第二审稿人的评价和其他审稿人并没有显著差异,但是这并没有说明第二审稿人是无罪的。第二审稿人可能给出显著差异的审稿意见并带有糟糕的腔调,只是这腔调看起来没有反应到总体评价中。
第三审稿人也是一样,第二审稿人很可能接受了一些本该针对第三审稿人的责怪。希望这篇研究,可以将一些针对第二审稿人的未观测愤怒疏导到他们本该去的地方。
最后一点是这结果背后可能有两种机制,第一因为审稿人编号取决于回复速度,所以延迟接受身高要求是一种对职业期望低遵从的表现。审稿人不准时接受审稿请求,要等到编辑反复催促。这样的审稿人给出最负面批评的审稿意见难道有什么好惊讶的吗?
另一种解释是第三审稿人可能比第一和第二审稿人更忙。他可能有额外的职业责任或者是更活跃的学者,所以他们提出更批判性的观点可能并非出自恶意,而是他们更有可能发现研究中被其他审稿人忽视的问题。由于信息有限本文无法分辨两种机制,我相信大多数作者,当他们收到审稿意见时,会把给出负面意见的审稿人当成“好的”审稿人。