专栏名称: 计量经济圈
记录一个我们生活在其中的时代社会,囊括的主题如下:经济、社会、世界和计量工具。
目录
相关文章推荐
计量经济圈  ·  AER揭露: ... ·  昨天  
戴康的策略世界  ·  戴康:中美政策共振下的战略与战术配置 ·  昨天  
51好读  ›  专栏  ›  计量经济圈

AER揭露: 经济学中p-hacking现象远低于政治学, 社会学等其他社会科学!

计量经济圈  · 公众号  · 财经  · 2024-09-29 00:00

正文

凡是搞计量经济的,都关注这个号了

邮箱:[email protected]

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

我们一直在讨论经济学中的p-hacking、操纵、追星星问题当看到期刊1整期都是DID实证设计, 就不自主地想起了这篇AER文章作为reminder,那么其他社会科学比如政治学、社会学是否存在类似问题呢?

到底是经济学中p-hacking严重还是政治学、社会学领域的研究更严重呢?

下面一一进行回答。

首先除了经济学领域,社会学和政治学领域的研究同样存在P-hacking问题。列出下面两篇文献加以佐证。
1️⃣Gerber, Alan, and Neil Malhotra. 2008a. “Do Statistical Reporting Standards Affect What Is Published? Publication Bias in Two Leading Political Science Journals.” Quarterly Journal of Political Science 3 (3): 313–26. 

2️⃣Gerber, Alan S., and Neil Malhotra. 2008b. “Publication Bias in Empirical Sociological Research: Do Arbitrary Significance Levels Distort Published Results?” Sociological Methods & Research 37 (1): 3–30.

其次,从这篇AER“Methods Matter: p-Hacking and Publication Bias in Causal Analysis in Economics”研究揭露出,与其他学科的对比分析:可以将经济学文献中随机化检验的结果与政治学和社会学的相关研究进行对比。政治学的研究检验基于Gerber和Malhotra在2008年的论文,而社会学的检验则基于他们的另一项研究。表A11展示了样本中,以及非经济学期刊中,检验统计值在1.76到2.16区间的数量分布情况。

注意到,在经济学领域,检验统计值接近1.96的比率仅为1.10,而政治学和社会学的比率则超过了2。这一发现有力地表明,在经济学领域(至少在使用这些推断方法时),数据操纵(p-hacking)的现象远不如其他学科普遍。

最后,好消息是,我们发现经济学中的p-hacking程度远低于其他社会科学。

此外,还发现,在与政治科学、社会学等其他学科的比较中,经济学期刊样本中p-hacking的现象明显较少。


*群友可直接在社群下载AER全文PDF。

相关主题,参看:1.实证研究中的P值: 误解, 操纵及改进, 探析P值操纵表现及原因,提出相应的改进策略,2.AER强调计量方法的重要性, 经济学因果分析中的p值操纵和发表偏倚!3.DID和IV操纵空间大吗? 一切皆为P-hacking,4.控制变量就能影响结果显著性, 所以存在很大操作空间, 调参数是常用手段吗?5.显著不显著的后背是什么, 非(半)参估计里解决内生性,6.科学家倡议P值需要0.005,显著性判断才成立,7.X与Y负相关但回归系数却为正? OLS不显著但2SLS却显著?8.统计上不显著的变量表明该变量对结果变量没有影响吗?9.IV与Y在理论上无直接关系, 但用Y对IV做回归发现IV是显著的, 这是咋回事?10.继JDE之后, 又一期刊重磅宣告"不显著的结果仍可以发表" 11.前沿, 终于有人解释为什么顶刊上很少有不显著的结果发表! 背后机理?12.回归中常数项显著说明模型中有遗漏变量问题?13.关于模型中变量选择的五个误区, 譬如不显著的变量需要剔除还是保留?14.为什么回归系数不显著? 15.添加一个新变量能使以前不显著的变量变得显著了?16.核心解释变量A不显著, 但加入变量B后, 为什么A和B都显著了?17.结果不显著但成功发在Top期刊上的论文有哪些?你心虚过没?18.交互效应显著的几种情况, 列出了6种类型,19.试了几百次, 回归结果依然不显著, 到底咋办,20.AER强调计量方法的重要性, 经济学因果分析中的p值操纵和发表偏倚!21.800名科学家联合呼吁, 停止使用统计学上的P值,22.美国统计学会关于p值的声明,23.美国宣布禁用p值,原来p值很危险,如何取代p值?

7年,计量经济圈近2000篇不重类计量文章,

可直接在公众号菜单栏搜索任何计量相关问题,

Econometrics Circle




数据系列空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 |  夜间灯光 官员方言  | 微观数据 | 内部数据
计量系列匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 中介调节 | 时间序列 | RDD断点 | 合成控制 | 200篇合辑 | 因果识别 | 社会网络 | 空间DID
数据处理Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |
干货系列能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 | 名家经验
计量经济圈组织了一个计量社群,有如下特征:热情互助最多前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此,建议积极进取和有强烈研习激情的中青年学者到社群交流探讨,始终坚信优秀是通过感染优秀而互相成就彼此的。