高维混合线性模型惩罚EM算法的统计分析

本文将根据Ning Wang, Xin Zhang和 Qing Mai在JMLR上发表的《Statistical analysis for a penalized EM algorithm in high-dimensional mixture linear regression model》为大家简单介绍作者们的研究工作。

作者介绍：

王宁 是北京师范大学珠海校区统计系讲师。他的主要研究方向包括混合模型，张量数据分析，降维方法等。在JMLR、Biometrics、Statistica Sinica等统计和机器学习期刊发表论文多篇。

张炘 老师是佛罗里达州立大学教授，他的主要研究方向包括tensor analysis, multivariate and computational statistics, medical imaging, dimension reduction和 envelope models等。张老师目前担任Biometrics和Statistica Sinica的副主编，在JASA、Biometrika、JMLR等统计学和机器学期期刊上上发表论文数十篇。

麦青 老师是佛罗里达州立大学教授，她的主要研究方向包括high dimensional statistics, tensor analysis, classification and clustering methods等。麦老师目前担任Biometrics和CSDA的副主编，在AOS、JASA、Biometrika、JMLR等统计学和机器学期期刊上上发表论文数十篇。

背景介绍：

期望最大化算法(The Expectation-Maximization algorithm, EM)及其变种在统计学中应用广泛。但是标准的EM算法并不适用高维混合线性回归模型，现有的正则化EM算法的理论结果通常依赖于sample splitting，在算法的每次迭代中使用新的样本批次。该篇论文中设计了一种基于group lasso惩罚的EM算法并研究其统计性质，该算法及其理论分析不需要进行样本划分，且适用于多重响应变量的情况。

考虑模型

其中 是混合模型的数量， ， ， 与 独立， 是 维回归系数向量。引入独立于 的隐变量 ，那么(1)等价于

隐变量 的存在使得混合线性回归的估计比非混合线性回归更加具有挑战性。考虑简单随机样本 ，设 为感兴趣的未知参数。我们首先回顾传统的低维EM算法：

• E-step： 计算Q函数

其中 由下式计算得出

其中 是均值为0方差为 的正态分布的概率密度函数。

• M-step： 通过最大化函数来更新参数，即

Group Lasso 惩罚的高维EM算法

在高维问题中， ，我们需要计算式(4)，该式包含 维随机变量 和 维参数向量 。即使 可被观测， 函数的最大化也很难被很好地定义。故文献对低维EM算法进行改进。文献中常假设回归系数 中大多数元素为0，在此进一步假设 具有联合稀疏结构即对大多数 ，有 （ 为 的第 个元素）。在稀疏性假设下，通过对 运用group lasso惩罚，用以下方式替代M-step

其中 是调节参数。上式的优化问题可分解为对 和 的优化。

对 更新如下：

对 最小化下示目标函数

其中， 且

具体算法框架见Algorithm 1。

简要理论性质

假设独立随机变量