P<0.005让你害怕？粒子物理学家投来嘲讽的眼神

原文以 Big names in statistics want to shake up much-maligned P value 为标题

发布在2017年7月26日的《自然》新闻上

原文作者：Dalmeet Singh Chawla

科学正在经历可重复性危机的阵痛。研究者、研究资助机构和学术出版商越来越担心，学术论文中充斥着不可靠的研究结果。现在， 72个知名科学家开始讨伐造成不可重复性问题的一个根源： 判断科学新发现所基于的弱统计证据标准。

图片：Pixabay

在许多学科里，研究结果的显著性是由P值进行判断的。P值被用来证明或证伪某个“零假设”。零假设一般假定被研究的效应并不存在。某批结果统计出来的P值越小，它们是随机因素造成的可能性就越低。当P值小于0.05时可以认为结果是“统计显著的”。

但是许多科学家担心，0.05的阈值在文献中造成了太多假阳性。而P值操纵 （P hacking） 的存在使情况变得雪上加霜。许多研究者在没有理论假设的情况下搜集数据，然后再寻找结果中具有统计显著性的数据模式，这就是P值操纵。

在7月22日发表在预印本网站PsyArXiv上的一篇文稿引起了轰动。该论文的作者提出， 社会科学和生物医学的P值阈值应当被调低至0.005。 该论文的终稿发表在了《自然-人类行为》 （ Nature Human Behaviour ） 上。

该论文的第一作者之一、南加州大学经济学家Daniel Benjamin 表示：“研究者们并没有意识到，当P值等于0.05时他们的证据有多么弱。”他认为P值在0.05和0.005之间的结果应该被视为“提示性的证据”，而不是确凿的事实。

这篇论文的作者名单里有两位可重复性领域响当当的人物：斯坦福大学专攻科学证据可靠度的John Ioannidis，以及开放科学中心 （Center for Open Science） 的执行总监Brian Nosek。

超大的大样本

荷兰格罗宁根大学的心理测量学和统计学研究者Casper Albers表示，减少P值阈值会带来的一个问题是，假阴性的几率会上升，也就是说明明效应存在，但结果却显示不出来。为了避免这个问题，Benjamin和同事建议研究者将样本量提高70%。他们认为这可以避免假阴性几率上升，同时显著减少假阳性出现的可能性。但是Albers认为在实际操作中，只有那些经费充足的科学家才有资源做到这一点。

伊利诺伊理工学院的计算机科学家Shlomo Argamon则认为可重复性问题没有简单的解决方法，因为“不管你选择什么置信水平，只要存在足够多的不同实验设计方法，那么其中至少有一种方法极有可能纯粹因为偶然而产生统计显著的结果”。他认为要采取更为激进的变革，比如引入新的研究方法标准和研究激励机制。