专栏名称: 香樟经济学术圈

香樟经济学术圈是经济研究平台，于2014年10月9日成立。平台主要为读者推送经典经济学术论文，发布“香樟经济学论坛”、“CEC Workshop"和学术研讨会等相关公告。希望平台能够为发展社会主义市场经济理论贡献微薄之力，感谢您的关注！

【香樟推文0860】项目评估中的选址偏差

香樟经济学术圈 · 公众号 · · 2017-08-27 07:00

正文

请到「今天看啥」查看全文

推文信息：Hunt Allcott, 2015. "Site Selection Bias in Program Evaluation," The Quarterly Journal of Economics, vol 130(3), pages 1117-1165.

图片来源：百度图片

哈哈

一、引言

项目评估是经济学领域中一个重要的部分，基于一个或多个样本地点（sample site）的项目评估结果能为大量的目标地点（target site）项目推广提供依据。在项目评估中，重复试验（replication）是重要的，因为群体特征、项目实施或者经济环境的差异会导致在不同的地点产生不同的项目处理效应。如果一个项目在不同的重复试验中都运行得很好，那么我们有理由建议该项目应得到推广。这暗含着一个外部非混淆假设（“external unconfoundedness” assumption）。然而在现实世界中这个假设很难得到满足。例如，项目通常会选择执行能力高的地点作为样本地点，导致样本地点会比其他潜在的地点有更高的项目处理效应。这就会产生选址偏差（site selection bias）：样本地点的处理效应将会比目标地点的处理效应更大。

首先，作者对小额信贷和临床试验进行案例分析来寻找样本地点和目标地点在群体层面的不同，结果发现样本地点与目标地点在多个可观察变量上有显著差异。

接着，作者用Opower能源节约项目（The Opower energy conservation program）研究了选址偏差问题。本文想要回答的问题是：早期的Opower重复试验能多大程度预测后来项目实施的处理效应？

输入

二、外部有效性和选址偏差模型

首先，在个体i水平上，目标群体中的项目平均处理效应被样本群体有效估计需满足以下假设：

如果以上四个假设得到满足，那么目标群体的项目平均处理效应为：

其次，在地点s水平上，目标地点的项目处理效应能被样本地点有效估计需满足两个假设之一：

最后，作者指出，只要重复试验地点是被随机选择或者被准随机选择的，即使地点有异质性，外部可混淆假设仍能被视为得到满足。然而，如果重复试验地点是通过其他机制被选择，那么可混淆假设失效，并会产生选址偏差。

三、Opower：概述和选址机制

输12

作者首先描述了Opower公司的家庭能源报告项目（The Home Energy Report Program），作者认为该项目能被视为随机可控试验。处理组是Opower公司通过邮件寄送家庭能源报告的家庭，寄送的频率在不同家庭和不同地点上是不同的。

对于Opower的这个项目，存在两个层面的地点选择。首先，电气公司与Opower公司签约。在这个阶段上，主要存在以下五个选择机制：使用（Usage）、群体偏好（Population Preferences）、互补或替代项目（Complementary or Substitute Programs）、公司规模（Size）和公司所有权（Ownership）。其次，与Opower公司签约之后，电气公司会在公司服务的消费者内选择项目试验对象。

输入

四、数据

本文主要采用了三个层面的数据：1.电气公司层面数据（Utility-Level Data）。美国总共有882家大型电气公司，其中58家在2013年2月之前已开始启动家庭能源报告项目。2.微观数据（Microdata）。作者使用了2009年12月之前启动的10个Opower项目的家庭层面微观数据。3.元数据（Metadata）。由于合同限制，Opower公司只提供了58个电气公司的111个地点层面的元数据，包括平均处理效应及其标准差、对照组的平均电能使用量等数据。

输入

五、微观数据：外部无混淆假设下的外推

（一）识别策略

本文在确定条件变量的设置时采用的模型为：

由于作者只有目标地点的元数据，作者使用了线性预测（Linear Prediction）和重新加权（Re-Weighting）两种方法去匹配均值。此外，由于Opower家庭能源节约项目寄送报告的频率在地点上是有变化的，作者根据频率调整了处理效应。

（二）回归结果

作者用项目最先设立的10个地点的家庭微观数据分析异质性处理效应（见table Ⅴ），结果发现，Opower项目显著减少了用电量，但家庭用电量与邻居用电量的比值、有电加热设备的家庭、有游泳池的家庭、房屋面积和处理T的交互项对被解释变量用电量均能显著减少，由此证明了选址偏差的存在。

用样本地点的处理效应能预测目标样本的处理效应吗？作者根据项目最先实施的前10个地点的数据算出项目平均处理效应，进而预测后来的101个地点的处理效应，发现根据样本地点的数据进行预测会高估目标地点的平均处理效应（见table Ⅵ）。在文中，作者对预测失效进行了解释。

输入

六、元数据：解释选址偏差

（一）识别策略

电气公司启动项目时间早晚会不会产生不同的处理效应？随着电气公司扩张该项目，处理效应将会如何改变？为了回答这些问题，作者设计了以下模型：

其中，Ms代表项目在地点s启动的日期。Lsu代表按项目启动日期排序后地点s公司u所在的地点的数目， ω u 表示公司u的控制表量。

降低被项目选中的因素会降低项目处理效应吗？为了回答这个问题，作者设计了以下模型：

（二）回归结果

作者对公式5进行回归得到（1）（4）（5）列，对公式6进行回归得到（2）（3）列（见tableⅦ）。结果可知，启动项目越晚，处理效应会越弱。（3）（5）对比可知，早期的样本地点是从后期样本地点中正向选择得到。

作者对公式7进行回归得到（1）（2）列，对公式8进行回归得到（3）（4）列（见table Ⅷ）。可知，从目前的样本地点中选出早期的前10个地点和从目标地点中选出目前的样本地点的选择机制是相似的，有高收入和高环境保护主义偏好的规模大的电气公司更容易被选中。

另外，作者用不同的抽样方法对目标地点的处理效应进行估计（见Figure Ⅴ），发现随机抽样和分层随机抽样能够很好地改善目标地点的处理效应预测结果。

输入

七、结论

重复试验对于项目评估是重要的，因为它提供了不同环境下处理效应的分布。如果评估地点不是随机选择的，地点选择机制会使样本地点的处理效应系统性地不同于目标地点的处理效应，从而产生选址偏差。最后作者对于研究中如何解决选址偏差给出了建议。

Abstract:

“Site selection bias” can occur when the probability that a program is adopted or evaluated is correlated with its impacts. I test for site selection bias in the context of the Opower energy conservation programs, using 111 randomized control trials involving 8.6 million households across the United States. Predictions based on rich microdata from the first 10 replications substantially overstate efficacy in the next 101 sites. Several mechanisms caused this positive selection. For example, utilities in more environmentalist areas are more likely to adopt the program, and their customers are more responsive to the treatment. Also, because utilities initially target treatment at higher-usage consumer subpopulations, efficacy drops as the program is later expanded. The results illustrate how program evaluations can still give systematically biased out-of-sample predictions, even after many replications.

香樟经济学术圈征稿

输入

“分享”是一种学者的人文情怀，香樟经济学术圈欢迎广大订阅读者（“香粉”）向公众平台投稿，也诚邀您加入香樟推文team。生活处处皆经济，经济处处现生活。如果你或者身边的朋友看了有趣的学术论文，或者撰写了经济政策评论，愿意和大家分享，欢迎投稿（经济金融类），投稿邮箱：[email protected]。如果高校、研究机构、媒体或者学者，愿意与平台合作，也请您通过邮箱联系我们。