NBER：利用生成式人工智能开展实验研究的12条最佳实践

唧唧堂 · 公众号 · · 2025-01-22 20:31

正文

本期推荐一篇最新发表在NBER上的论文《利用生成式人工智能开展实验研究的12条最佳实践》。近年来，生成式人工智能（Generative AI，简称GenAI）在生成文本、图像、音频和数据等方面展现出强大潜力，尤其在实验研究中，为问卷设计、数据处理和假设生成提供了全新思路。然而，这项技术的飞速发展也带来了数据隐私、伦理风险及研究方法偏差等挑战。基于此，论文旨在系统性地探讨如何在实验研究中有效、可信且伦理地利用GenAI，为研究人员提供实用的指导框架。

作者分析了GenAI在实验研究中的常见应用场景，包括设计问卷、生成实验假设和分析非结构化数据等，同时剖析了技术可能带来的风险，如训练数据偏差、模型“幻觉”和数据泄露等问题。研究采用风险优先的框架，强调研究人员需提前识别潜在威胁，并结合技术手段制定相应措施。此外，研究还提供了具体流程，如如何标准化预注册文档、优化提示词设计以减少偏差，以及结合机器学习技术提升分析精度等方法，为研究提供了可操作的技术参考。

论文最终归纳了12条最佳实践，从预处理、设计与实施、数据分析到未来应用四个阶段，提出了具体解决方案：

1.使用GenAI降低预处理任务负担，但不降低质量。

2.禁止公共模型训练研究数据，确保隐私安全。

3.明确参与者风险，确保知情同意。

4.利用GenAI识别中介变量和调节变量，优化实验设计。

5.在试点和审核后使用GenAI进行数据收集任务。

6.设计实验时注意满足“四项排除限制”（如SUTVA假设）。

7.设计提示词时避免上下文干扰，确保一致性。

8.根据研究需求选择训练数据，必要时手动调整模型。

9.记录GenAI版本和操作，确保结果可复现。

10.根据GenAI能力调整研究资源分配，优化成本。

11.验证GenAI生成假设是否对人类可解释。