专栏名称: 量化研究方法
以量化之思想认识世界,体会量化之美。
目录
相关文章推荐
51好读  ›  专栏  ›  量化研究方法

最大似然估计是个什么鬼?

量化研究方法  · 公众号  ·  · 2017-08-09 23:51

正文

请到「今天看啥」查看全文


解释最大似然估计(Maximum Likelihood Estimation)的逻辑,可以从哲学讲起。黑格尔有句名言:“现实的就是合理的,合理的就是现实的。”


这句话,在十九世纪的德国,普鲁士王朝的既得利益者看到的是保守,追求自由的天真革新派看到的是反动,老谋深算的作者想的却是革新。我们在这里不参与这个争论,但可以提出一个弱化的黑格尔命题:现实的就是过去最可能发生的,过去最可能发生的就是现实的。这貌似是同语反复,实际是最大似然估计的逻辑基础。时间是单向的,现实一旦发生,便不可逆转。究竟是哪些系统因素与偶然因素一起共同导致了现实的发生,我们永远不可能确切知道。我们唯一能做的,就是构建一系列理论模型,每个模型由一系列关于自变项与因变项之关系的假设组成,每个模型预测出一个可能世界,哪个模型预测的可能世界与现实世界最接近,哪个模型就是最大似然模型,模型里显著的回归系数,就是我们对过去世界中的系统因素最佳猜测。这样说太抽象,我们拆成五步,具体解说,仍以雇员数据为例。

第一步,描述现实世界。在这里,现实世界就是族裔分类与是否经理的实际交叉分布。

第二步,构建初始可能世界。初始可能世界,就是零假设为真时的可能世界,我们可以称之为0.0版可能世界。零假设是,不管自变项怎么变,因变项的发生概率都不受影响,经理岗位面前,人人平等。如果只有一个自变项,那么零假设是,这个自变项与因变项不相关,互相独立;如果有两个或多个自变项,就有两个或多个零假设,每个假设的句型都是:控制其他变项的变化,某个自变项的变化与因变项的变化没有显著的相关。

第三步,如果初始可能世界与现实世界有显著差距,那就放弃它。判断二者是否有显著差距,借助一个类似卡方检验的检验。在这里,出了一个新型的零假设。我们到目前为止说的零假设,都是关于变项之间关系的零假设。这个新型零假设,是关于理论模型与现实观察之间关系的零假设。零假设是个模型,是理论。我们假定模型与数据完全相符,假定二者天衣无缝,零距离,这个假定就是新型零假设。我们可以把模型比作衣服,数据比作身体,模型与数据的合身度叫拟合优度,goodness-of-fit,就是合身度。天衣无缝的衣服合身度最高,每个部分都与身体零距离,总距离也是零。最大似然估计的目标不是找到绝对完美的模型,而是找到能找到的最合身的模型。

零假设是新型的,检验零假设的指标也是新型的,是个近似卡方值的统计值,名字很怪,叫做“似然性自然对数的负二倍”(-2 loglikehood),我们可以把它简称为“负二倍”。顾名思义,最大似然估计,目标是找到现实世界在什么情况下最可能发生,必须有个衡量似然性大小的指标,还要有个判断似然性的变化幅度是否显著的标准,否则无法确定什么时候达到了最大。这个指标是现实世界在过去发生的概率,即似然性。这里,我们坚持实用主义,只考虑万分之一(0.0001)到万仅一失(0.9999)的概率,也就是只看现实世界在过去的概率从0.0001到0.9999之间变化的轨道。但是,用似然作标尺,虽然可以比较初始模型与现实数据的拟合优度,但是缺少明确的标准。例如,有两个模型,模型A与模型B,根据模型A预测,现实发生的似然性是0.0001,根据模型B预测,似然性增长到0.0002,这算不算显著的增长呢?什么是衡量显著与否的标准?如果没有确定的标准,学者就会各执一词。统计学家超级聪明,总是有办法。他们不用似然性的大小作为衡量模型与数据的合身度的指标,而是以似然性的自然对数的负二倍为指标,就是先算出似然的自然对数,然后乘以负二。把从0.0001到0.9999的似然性,转换成自然对数(自然对数的符号是ln),ln0.0001=-9.21,ln 0.5=-0.69,ln 0.9999=-0.0001,乘以负二,都变成了正数。绕这个弯子,不是没事找事,是因为统计学家发现“负二倍”的分布与卡方值的分布相似,可以当卡方值的替身。卡方值都是正数,“负二倍”也都是正数。卡方值分布表能准确告诉我们,任意一个卡方值在某个自由度下发生的概率。这样,我们就两全其美了,既有测量似然性大小的指标,又有衡量似然性变化幅度是否显著的标准。用“负二倍”这个近似卡方值的数值作指标,参考卡方值的分布,我们能算出一个概率,即当初始模型为真时,现实世界发生的概率。如果这概率极小,我们就可以放弃关于初始模型的零假设。

第四步,不破不立,放弃初始模型是破坏,是破;光破坏不行,还要建设,还要立。破除初始模型,是放弃零假设;建立替代模型,是提出替代假设。破的是0,立的一定是非零,非零可以是正数,可以是负数,绝对值可大可小。下面介绍的迭代史(iteration history)报告的第一步,就是1.0版替代模型,里面的假设是1.0版替代假设,预测的是1.0版可能世界。现在我们假定1.0版模型与数据天衣无缝,按照第三步讲述的逻辑,检验这个零假设。如果检验结果显示犯一类错误的风险小于我们愿意承担的风险,就放弃零假设,构建2.0版替代模型。

第五步,持续修改替代模型,把后构建的与先构建的做比较,看新构建模型预测的可能世界是否更接近现实世界,直至找出最接近现实世界的可能世界。衡量新旧模型优劣的标尺,也是“负二倍”。这里有一连串关于模型与数据的零假设,即,每构造一个替代假设,都假定它与数据天衣无缝。然后不断修改模型,目标是把“负二倍”逐渐减小,减到不能“显著”减少,就找到了“最合身”的模型,达到了最大似然。

总而言之,最大似然估计的目标是找出一个关于自变项与因变项之间关系的理论或模型,这个理论或模型能对现实事件在过去发生的概率做出最准确的预测。这个“现实事件”,就是我们在样本中看到的事实,就是样本统计值。这个逻辑很简单,关于一件已经发生的事,有两种理论,一种理论预测它发生的概率是百分之八十,另一种理论预测它发生的概率是百分之九十,当然是后一种理论预测得更准确。我们可以构建很多种理论,评估哪个理论更准确,标准是哪种理论能做更准确的预测。关于未来的预测,要等到未来才知道是否准确。最大似然估计不是面向未来,是面向过去,做事后诸葛亮,不是预测,是“回顾”,是回到过去预测已经发生的现实。回顾并不比前瞻容易,实际上往往更难;前瞻需要胆大,需要诗人的奇思幻想;回顾需要谨慎,需要哲人的慎思明辨。








请到「今天看啥」查看全文