凡是搞计量经济的，都关注这个号了
邮箱：[email protected]
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.
工具变量（IV）方法在实证研究中是因果推断的主要策略之一。寻找合适的工具变量通常需要启发式和创造性的思考，而验证其有效性，尤其是排除限制假设，很大程度上依赖于言语上的论证。本文提出了一种创新的方法，即使用大型语言模型（LLM）来搜索新的工具变量，并通过叙述和反事实推理来支持其有效性，这与人类研究者的传统做法相似。
然而，LLM的一个显著优势是其能够以指数级的速度加速这一过程，并探索比人类研究者更广阔的搜索空间。本文展示了如何构建有效的提示，以引导LLM寻找潜在的有效工具变量。本文认为，采用多步骤提示和角色扮演提示对于模拟经济主体的内生决策特别有用。本文将这种方法应用于经济学中的三个著名案例：教育回报、生产函数和同伴效应。此外，还进一步扩展了这一策略，用于寻找：（i）回归和双重差分方法中的控制变量，以及（ii）断点回归设计中的驱动变量。通过这些应用，本文不仅展示了LLM在社会科学研究中的潜力，还为如何在AI时代进行社会科学研究提出了新的思考和方法论。内生性问题是观察性研究中进行因果推断的主要障碍。自“可信性革命”和“因果革命”以来，社会科学、统计学等领域的研究人员已经开发出多种识别策略，旨在通过恢复自然实验的变体来解决内生性问题。其中，工具变量（IV）方法是一种主要的策略。几十年来，研究人员凭借其创造力，在各种研究环境中找到了工具变量，并证明了其满足排除限制的合理性（即在潜在变量条件下是外生的）。由于其广泛的适用性，工具变量方法已在经济学的各个子领域以及其他学科中得到了广泛应用。排除限制（或更广泛地讲，外生性）本质上是一个无法直接检验的假设。研究人员通常依赖于与特定情境相关的语言论证，来证明这些假设的合理性。这一非统计过程是在识别潜在的工具变量候选之后进行的，而识别这些变量本身需要研究人员的反事实推理、创造力，有时甚至是运气。这些元素共同构成了研究人员采用的启发式过程。本文探讨了大型语言模型（LLM）如何助力发现新的工具变量。鉴于叙述是支持工具变量排除限制的主要手段，我们认为，LLM凭借其强大的语言处理能力，非常适合帮助寻找新的有效工具变量，并以修辞方式进行辩护，这与人类研究人员多年来的做法相似。然而，LLM与人类研究者的一个显著区别在于，它能够以指数级的速度加快这一过程，并探索人类研究者难以企及的广阔搜索空间。目前，人工智能（AI）在系统性假设搜索和精炼搜索方面的表现已经得到了认可。此外，有观点认为LLM能够进行反事实推理，或者更准确地说，探索替代情景，这使得LLM成为因果推断领域一个充满前景的工具。采用人工智能辅助的工具变量发现方法至少可以带来三大好处：快速且针对性的系统搜索：研究人员可以在适应特定研究背景的同时，快速进行系统性的搜索。
增加发现多个工具变量的机会：通过系统性的搜索，可以提高找到多个工具变量的概率，这有助于通过过识别限制进行正式的（即统计学上的）有效性检验。
提高实际数据的可用性：拥有一系列候选工具变量，可以增加在实际数据中发现包含这些工具变量的可能性，或者指导如何构建包含这些工具变量的数据集。
本文展示了如何构建提示，以引导大型语言模型（LLM）搜索有效的工具变量候选者。排除限制（exclusion restriction）的口头表述和其他相关信息是构建提示的关键组成部分。本文提出了一种分两步的提示方法，将不同复杂度的反事实陈述区分开来。此外，本文还推荐使用角色扮演提示，因为它们与内生性问题的根源，即agent的决策，密切相关。通过这种方式，我们赋予LLM以agent的视角，使其能够模拟agent的内生决策过程。角色扮演提示同样适合于引入协变量，这有助于提高工具变量发现的准确性和有效性。为了验证所提出的概念并评估大型语言模型（LLM）的实际表现，本文通过使用OpenAI的ChatGPT-4（GPT-4）进行了一系列的发现实验。这些实验旨在寻找实证经济学中三个著名案例的工具变量：教育回报、生产函数和同伴效应。在这三个案例中，GPT-4生成了一系列候选工具变量，其中一些在与现有文献对比中来看相对比较新颖，并为其有效性提供了理由。这些候选列表中也包括了文献中经常使用的那些工具变量。本文对这些初步结果的评估表明，该方法在实际应用中是有效的。特别是在同伴效应的案例中，本文展示了这种方法在探索相对较新的实证研究主题方面的有效性，这会增加发现新工具变量的机会。从更广泛的角度来看，本文提出的方法是系统性地“搜索外生性”。本文还将这一实验扩展到了其他因果推断方法，包括：（i）在回归和双重差分方法中搜索控制变量；（ii）在断点回归设计中搜索running变量。文章构建了相关的提示prompt，并在著名案例中运行了这些提示。由所提出方法产生的候选工具变量或控制变量的列表并不是绝对的。相反，我们希望它能作为一个有价值的基准，激励实证研究者考虑探索哪些类型的变量以及哪些领域。与LLM进行的对话过程也可以帮助研究者巩固对变量有效性的论点或反论点。毕竟，AI就像任何机器一样不能成为最终权威（至少目前还不能）。我们相信，在AI的帮助下，人类研究者可以更有效地选择研究设计并进行因果推断。本文探讨了在社会科学研究中，人工智能（AI）如何辅助人类研究的创造性和启发式部分，为文献做出了贡献。Ludwig和Mullainathan（2024）在一项非常有趣的研究中，使用生成模型系统性地产生可被人类理解的假设，以应对那些原本令人生畏的研究情境（TOP5: 由人类提出研究假说已out了! 还是交给机器学习和AI可靠）。他们在AI使用受限的研究领域取得了显著进展，因为他们认为，在社会科学中建立因果关系是一个“开放世界”问题，这与物理科学中的“封闭世界”问题截然不同。在另一项相关工作中，Mullainathan和Rambachan（2024）利用预测算法（神经网络）恢复了旧的经济理论模型中的异常现象，并发现了新的异常现象。LLM最近才开始在社会科学研究中得到应用。值得注意的是，Du等（2024）使用经过微调的LLM（特别是Meta的LLaMA）预测职位转变，并理解劳动经济学中的职业轨迹。他们的研究显示出预测精度显著优于传统的职位转变经济模型。
下面几张表就是LLM提供的IV、DID和OLS中的控制变量、RDD的running变量。
*群友可直接在社群下载全文PDF。
关于GPT，参看1.前沿: 财务报表分析师和机器学习那套可能会失业, GPT大语言模型极具优势，2.突发: Stata最为激烈的自救行动! 在大语言模型GPT等攻势下不得不为之！3.必备神器: 各专业领域代表性大语言模型GPT与数据资源！4.最新: 学或做量化金融和量化交易的人员估计得失业! ChatGPT文本基础上的策略完胜！5.GPT在文本分析中的应用, 一个基于Stata 的集成命令用法介绍，6.综述: ChatGPT, 金融学研究, ChatGPT, 金融学研究！7.美国经济学会首次就GPT大模型对经济学研究影响发文, 应用案例与研究者使用指南！8.前沿: 以ChatGPT打开了经济学和其他社会科学研究范式的巨大新空间，9.ChatGPT数据分析和可视化新功能, 算是彻底革了实证研究者的命了！10.GPT前沿: 图神经网络GNN在经济金融领域中的研究应用进展！11.阿里达摩院前沿研究: GPT-4已能取代搞纯数据定量分析的研究人员! 关键成本极低！12.最新: ChatGPT大模型对经济学研究的影响，13.ChatGPT为主题的经济金融等等社科领域的最新论文！14.聊天绘图ChatGPT诞生! 各种技术图形都不再是学术难题！15.太强悍了！英文文献阅读版ChatGPT，一站式文献阅读神器！
关于断点回归设计RDD，可参看1.断点回归设计RDD分类与操作案例，2.RDD断点回归, Stata程序百科全书式的宝典，3.断点回归设计的前沿研究现状, RDD，4.断点回归设计什么鬼？且听哈佛客解析，5.断点回归和读者的提问解答，6.断点回归设计RDD全面讲解, 教育领域用者众多，7.没有工具变量、断点和随机冲击，也可以推断归因，8.找不到IV, RD和DID该怎么办? 这有一种备选方法，9.2卷RDD断点回归使用手册, 含Stata和R软件操作流程，10.DID, 合成控制, 匹配, RDD四种方法比较, 适用范围和特征，11.安神+克拉克奖得主的RDD论文, 断点回归设计，12.伊斯兰政府到底对妇女友不友好？RDD经典文献，13.PSM,RDD,Heckman,Panel模型的操作程序，14.RDD经典文献, RDD模型有效性稳健性检验，15.2019年发表在JDE上的有趣文章, 计量方法最新趋势，16.关于(模糊)断点回归设计的100篇精选Articles专辑！17.断点回归设计RDD精辟解释, 保证你一辈子都忘不了，18.“RDD女王”获2020年小诺奖！她的RD数据, 程序, GIS和博士论文可下载！关于她学术研究过程的最全采访！19.中国博导要求掌握的RDD方法实证运用范文(配程序code), 不然就不要用RDD做实证研究！20.最近70篇关于中国环境生态的经济学papers合辑！21.事件研究法用于DID的经典文献"环境规制"论文数据和程序，22.环境, 能源和资源经济学手册推荐, 经典著作需要反复咀嚼，23.中文刊上用断点回归RDD和合成控制法SCM的实证文章有哪些？不看至少需要收藏一下！24.上双一流大学能多赚多少钱? 学习断点回归RDD, 机制分析的经典文章！25.JPE上利用地理断点RDD和IV研究中国环境议题的do文件release！26.学习经济学会让你富有吗? 基于大学专业回报的断点回归分析，27.政策评估里的断点回归设计RDD是什么, 如何做？如何简单的理解？28.AER上用断点回归设计的经典文章有哪些？给出了具体的程序和code，29.AER: 严刑竣法真的可以减少犯罪吗? 断点回归设计RDD的经典！30.断点回归设计RDD的原理和实证指南, 年龄, 地理, 分数等断点应有尽有，31.最强断点回归RDD方法资料主页！提供replication数据, 编写和注释完整的codes！32.前沿: 农业与环境经济学中断点回归设计RDD万字综述与最新进展！
关于多期DID或交叠DID: 1.DID相关前沿问题“政策交错执行+堆叠DID+事件研究”, 附完整slides，2.交错(渐进)DID中, 用TWFE估计处理效应的问题, 及Bacon分解识别估计偏误，3.典范! 这篇AER在一图表里用了所有DID最新进展方法, 审稿人直接服了！4.最新Sun和Abraham(2020)和TWFE估计多期或交错DID并绘图展示结果！详细解读code！5.多期DID或渐进DID或交叠DID, 最新Stata执行命令整理如下供大家学习，6.多期DID前沿方法大讨论, e.g., 进入-退出型DID, 异质性和动态性处理效应DID, 基期选择问题等，7.交叠DID中平行趋势检验, 事件研究图绘制, 安慰剂检验的保姆级程序指南！8.欣慰! 营养午餐计划终于登上TOP5! 交叠DID+异质性稳健DID！9.用事件研究法开展政策评估的过程, 手把手教学文章！10.从双重差分法到事件研究法, 双重差分滥用与需要注意的问题，11.系统梳理DID最新进展: 从多期DID的潜在问题到当前主流解决方法和代码! 12.标准DID中的平行趋势检验,动态效应, 安慰剂检验, 预期效应教程，13.DID从经典到前沿方法的保姆级教程, 释放最完整数据和代码！
7年，计量经济圈近2000篇不重类计量文章，
可直接在公众号菜单栏搜索任何计量相关问题,
Econometrics Circle
计量经济圈组织了一个计量社群，有如下特征：热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此，建议积极进取和有强烈研习激情的中青年学者到社群交流探讨，始终坚信优秀是通过感染优秀而互相成就彼此的。
