专栏名称: 码农经济学
Something Anything Nothi…
目录
相关文章推荐
小米汽车  ·  诚邀500位米粉北京相见❤️-2025022 ... ·  10 小时前  
东方财富网  ·  尊界5月底上市!鸿蒙智行“五界”一览 ·  昨天  
东方财富网  ·  尊界5月底上市!鸿蒙智行“五界”一览 ·  昨天  
小米汽车  ·  小米SU7 ... ·  昨天  
比亚迪汽车  ·  比亚迪守护温暖回家路 ·  2 天前  
51好读  ›  专栏  ›  码农经济学

回归时交叉项为什么要去平均?

码农经济学  · 知乎专栏  ·  · 2017-04-09 15:38

正文

之所以写这篇文章是因为在一个微信群里面的争论。

我想很多人都知道,当我们做回归的时候,如果回归方程里面包含着交叉项,那么一般我们对变量去平均。那么为什么这么做呢?

有的人的解释是消除多重共线性。然而就像我之前写过的一个答案( zhihu.com/question/5508 )一样,在计量经济学领域,如果我们关注的是系数,增大样本几乎是解决多重共线性的唯一方法。其他的方法,要么会导致参数的不一致,要么就是自欺欺人的方法。所以期刊中的文章如果意识到了多重共线性的问题,都不会去讨论,更没有办法去解决这一问题。

至于为什么要去平均,我们不妨稍微写一下线性投影(按照伍德里奇书里面的方法):

如果不去平均,那么OLS是一个线性投影:

L(y|x_1,x_2,x_1\cdot x_2)=\beta_1 x_1+\beta_2\cdot x_2 +\gamma x_1\cdot x_2

而如果去平均:

L(y|\tilde{x}_1,\tilde{x}_2,\tilde{x}_1\cdot \tilde{x}_2)=b_1 \tilde{x}_1+b_2\cdot \tilde{x}_2 +r\cdot \tilde{x}_1\cdot \tilde{x}_2
=b_1 (x_1-\bar{x}_1)+b_2\cdot  (x_2-\bar{x}_2) +r\cdot(x_1-\bar{x}_1)\cdot (x_2-\bar{x}_2)
=b_1x_1-b_1\bar{x}_1+b_2x_2-b_2\bar{x}_2+rx_1x_2-rx_1\bar{x}_2-rx_2\bar{x}_1+r\bar{x}_1\bar{x}_2
=(b_1-r\bar{x}_2)x_1+(b_2-r\bar{x}_1)x_2+rx_1x_2+[r\bar{x}_1\bar{x}_2-b_1\bar{x}_1-b_2\bar{x}_2]

所以其实我们可以得到:

\beta_1=b_1-r\bar{x}_2
\beta_2=b_2-r\bar{x}_1
\gamma=r

所以实际上,这两种方法计算的系数,可以使用上面三个方程相互计算得到。相应的,系数的标准差也可以使用上面三个方程计算出来。

也就是说,如果做了去平均的回归,那么不去平均的回归结果(包括系数和方差)用上面三个方程就可以算出来了;如果做了不去平均的回归,那么去平均的回归结果(包括系数和方差)用上面三个方程也可以算出来。

所以你跟我说这是解决了多重共线性?逗我呢?

如果再不信,可以做个简单的小模拟:

clear
set obs 100
gen x1=rnormal()*sqrt(2)+1 // mean 1
gen x2=2*x1+rnormal()+1  // mean 3
gen x12=x1*x2
scalar beta1=-3
scalar beta2=-1
scalar gamma=1
gen y=beta1*x1+beta2*x2+gamma*x12+rchi2(2)

// deman
egen mean_x1=mean(x1)
egen mean_x2=mean(x2)
gen demean_x1=x1-mean_x1
gen demean_x2=x2-mean_x2
gen demean_x12=demean_x1*demean_x2

// regression
reg y x1 x2 x12
reg y demean_x1 demean_x2 demean_x12
回归结果:

配合着描述性统计:

可以轻易的验证上面的三个方程是成立的。

特别是,注意去不去平均,交叉项的系数和标准误都是一样一样的,所以如果我们只关注交叉项,比如在DID里面,去不去平均都可以。

那么这个变换是不是解决了多重共线性问题呢?有的人是这么argue的:

你看,相关系数小了很多哎!难道不是解决了多重共线性?

要注意,多重共线性是要看偏相关系数的,实际上,如果我们做这样的回归:

你会发现,两个回归的R-squared基本上是一样的。

这不是自欺欺人是干嘛?

也有人说了,去平均之后的确更容易显著啊!难道不是因为多重共线性吗?

不是的。去平均之后更容易显著是因为,去平均之后x1和x2前面的系数都不一样了,参考我上面写的三个方程的结论,相当于加上了一个系数,所以更容易显著了。当然,这也不是绝对的,比如在上面的模拟里面,我通过一个特殊的设定展示了,去平均之后也有可能更不显著了。

注意我在这里仅仅是说去平均这一做法不是为了解决多重共线性问题,而没有说去平均这个做法是错的。实际上,去平均才是比较标准的做法。

为什么呢?如果我们算一下偏效应:

\frac{\partial E(y|\tilde{x}_1,\tilde{x}_2,\tilde{x}_1\cdot \tilde{x}_2)}{\partial x_1}
=b_1 +r\cdot\tilde{x}_2

而其期望:

E\{\frac{\partial E(y|\tilde{x}_1,\tilde{x}_2,\tilde{x}_1\cdot \tilde{x}_2)}{\partial x_1}\}
=b_1





请到「今天看啥」查看全文