专栏名称: 医学论文与统计分析

本公众号高校医学统计学老师所设，重点介绍为临床试验方法、真实世界研究、meta分析、SPSS 教程，R语言与数据挖掘。关注后，发送关键词“33”到公众号就可以获取常见的统计软件比如Spss，sas，PASS（绝对无毒）。

震惊！对Nature、Science论文调查发现，90%统计方法不正确

医学论文与统计分析 · 公众号 · · 2025-03-31 08:58

正文

2025年2月，一篇题为：“ Statistics in biology: a survey of the three major multidisciplinary journals ”的论文指出， 只有 10% 的分析文章提出了正确的统计方法。

一起来看看怎么个事！

这篇文章介绍了对多学科期刊中的三大顶刊《Nature》《S cience》《PNAS》论文的调查结果。

《Nature 》：综合性期刊，一区Top，IF=50.5

《Science》：综合性期刊，一区Top，IF=44.7

《PNAS》：综合性期刊，一区Top，IF=9.4

截至 2023 年 6 月 30 日，在这三本期刊中，研究者分别搜索了 50 篇涉及需要伦理委员会同意的实验的文章。由于PNAs宣布 统计审查委员会 已于 2023 年 9 月成立并开始工作，因此从 2024 年1月1日起又检索并分析了 50 篇文章。

文章中检查了以下项目：

但，研究结果显示，任何一篇文章都没有完整地报告明确的实验设计。

主要问题包括：

1) 近一半的文章样本量极小（<4/组） ， Nature、PNAS 和 Science 中分别有 55%、37% 和 48% 的文章每组的最低样本少于 4 。

在 t 检验 (双尾) 的功效与效应量 (Cohen d) 和样本量 (n = 3 至 6) 的关系图中，显然，在合理的效应量值 (Cohen d ≤ 4) 下，每组少于 5 名受试者不足以达到 80% 的功效。即使在这些条件下，I 类错误的问题仍然存在。

因此，每组受试者少于 5 人的实验具有非常高的假阴性率。

2) 混淆了生物重复和技术重复 ，重复和重复实验最常被误解。在 Nature 杂志中被提及了 14 次， Science 杂志15 次， PNAS杂志 12 次。此外，只有 13 次提到了正确的分析技术（即嵌套方差分析或混合效应模型）。

3) 缺乏多重比较校正。 在样本极小的情况下，检验总是缺乏连续性校正，而在比较两个以上的组时，检验总是缺乏多重比较校正。

这些错误导致 I 类和 II 类错误大量增加。

从 2024 年 1 月 1 日至 31 日，检索了 PNAS 上发表的 50 篇涉及动物实验的连续文章。共有五篇文章被排除在分析之外，其余 45 篇文章中只有 20 篇文章提供了几乎正确的统计分析。

不幸的是，尽管成立了委员会，但问题仍然相似。

其实在医学研究中，样本量，多重比较， I 类错误控制同样十分重要，郑老师统计小食系列也做了很多的科普，有需要诸位可以看看！

最后，在文末给郑老师我们团队打个一对一指导广告吧，大家不要见怪哈！

我们将提供专业的一对一微信R语言答疑指导 哦