调查：你真的理解你所使用的统计方法吗？

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

这是法国物理学家李普曼 （Gabriel Lippman，1845-1921） 在给数学家庞加莱 （Henri Poincare，1854-1912） 的信中提及正态分布时说的话。类似的“互以为是”的情形在科学研究中并不鲜见。

在当代自然科学与社会科学的研究中，显著性检验扮演着至关重要的角色，检验的p值 （p-value） 大小常常决定着研究者做实验效应是否存在、政策干预是否有效等关键论断，进而决定其是否公开发表报告或报告是否被学术期刊接收。在某种程度上，p值已然成为判定科学研究是否有效的重要统计标准。

然而，对p值及相关常用推论性统计指标 （如置信区间等） 的误解与滥用也经常存在，数学家、统计学家与各具体领域的科学研究者也经常为此争论不休。有不少文章指出，当代科研工作者和统计教育者自身对p值、置信区间 （Confidence Interval，以下简称CI） 存在诸多的误解与滥用。为此，Science、Nature等标志性科学刊物，美国统计学会的官方刊物The American Statistician以及各具体学科领域内部的代表性刊物，都发表过不少相关的批判与反驳的文章，争辩p值、CI等作为统计标准的适用性与局限性 (Benjamin et al., 2017; Cohen, 1994; Goodman, 2016; Greenland et al., 2016; Halsey, Curran-Everett, Vowler, & Drummond, 2015; Nuzzo, 2014; Wasserstein & Lazar, 2016) 。这种争辩旷日持久且仍无定论，已超越狭义的技术探讨，成为笼罩整个科学研究领域的方法论危机，甚至影响着公众对于整个科学共同体作为知识权威的信心，不得不引起研究者的重视与回应。

为全面了解我国科研机构的研究者与教师，以及作为科研生力军或后备军的本、硕、博同学对常用统计方法 （这里仅限p值与CI） 的了解与使用情况，并据此提出相应的统计方法教育与应用建议，我们特意联合知识分子 （微信号：The-Intellectual） 、果壳科学人 （微信号：scientific_guokr） 、知社学术圈 （微信号：zhishexueshuquan） 、科研圈 （ k eyanquan ） 、定量群学 （微信号：sociologynju） 和我爱脑科学网 （微信号：brainers） ，郑重推出此次关于p值与CI的使用情况调查。调查内容并不涉及具体的统计学知识与公式推导，仅就科研工作者如何理解与报告p值与CI的具体结果而设计。调查的适用对象为学过假设检验 （显著性检验） 、置信区间的科研工作者和高等教育机构的在校学生，一般在5~10分钟内即可完成所有问题。所有调查信息均按《中华人民共和国统计法》的相关要求严格保密，仅做汇总分析使用，不会透露任何个人信息，请您放心作答。统计结果的最终报告将通过相关公众平台及时推出。

我们相信，随着这一调查的进行和对相关统计方法之反思的深入，当下科学研究工作的统计分析惯例和结果报告方式将得到进一步的改进与提升。但这首先要求作为科学共同体一员的我们及时表达出自身的需求与建议。

如果您是已经学过假设检验 （显著性检验） 和置信区间的本、硕、博学生或大学及其他科研机构 （包括任何自然科学、社会科学和人文学科领域） 的研究者，衷心期待您能参与我们关于 p 值与置信区间的使用情况调查 （长按下图二维码参与调查） ！

如有任何疑问或拟商量合作调查事宜，请发信至上述任一邮箱，谢谢！

参考文献：

Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E.-J., Berk, R., . . . Johnson, V. E. (2017). Redefine Statistical Significance. Nature Human Behaviour. doi:10.1038/s41562-017-0189-z.

Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49(12), 997–1003. doi:10.1037/0003-066X.49.12.997.

Goodman, S. N. (2016). Aligning statistical and scientific reasoning. Science, 352(6290), 1180–1181. doi:10.1126/science.aaf5406.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, Pvalues, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. doi:10.1007/s10654-016-0149-3.

Halsey, L. G., Curran-Everett, D., Vowler, S. L., & Drummond, G. B. (2015). The fickle P value generates irreproducible results. Nature Methods, 12(3), 179–185. doi:10.1038/nmeth.3288.

Nuzzo, R. (2014). Scientific method: Statistical errors. Nature, 506(7487), 150–152. doi:10.1038/506150a.

Wasserstein, R. L., & Lazar, N. A. (2016). The ASA's statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129–133. doi:10.1080/00031305.2016.1154108.