从数学分析的角度来看SOFTMAX

从数学分析的角度来看SOFTMAX

来源：36大数据

编辑：Gemini

Softmax是机器学习中最常用的输出函数之一，网上有很多资料介绍它是什么以及它的用法（http://ufldl.stanford.edu/wiki/index.php/Softmax回归），但却没有资料来介绍它背后的原理。本文首先简单地介绍一下Softmax，然后着重从数学分析的角度来分析一下它背后的原理。

分类问题是监督学习中最重要的问题之一，它试图根据输入

$x$ 来预测对应标签 $y$ 的概率。Softmax便是计算标签概率的重要工具之一：

$p=softmax\left(\mathrm{a\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}\right)\iff p_i=\frac{\exp (\; a\; i\; )}{{\sum }_j\exp (\; a\; j\; )}$

其中 $a_i$ 是模型对于第 $i$ 个分类的输出。接下来简单地证明一下：通过对数最大似然以及梯度下降方法可以使 $p_i$ 逼近第 $i$ 个分类的真实概率。对数最大似然中的损失函数为 $L_{NLL}(p,\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});y)=-\log p\; y$

$\frac{\partial }{\partial a_k}$

$=\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});-1_{y=k}+\frac{e^{a_k}}{{\sum }_j{e}^{a_j}}$

即 $\frac{\partial }{\partial a}$ e_y=[0,\cdots ,0,1,\mathrm{0\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});},\cdots ,0]$$ y$$ x$$ a$$ p_i$$ i$$ \mathrm{p\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}=E\left[e_y|x\right]$$ \underset{N\to \infty }{lim}\frac{1}{N}$ \underset{N\to \infty }{lim\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}\frac{1}{N}$$$

从收敛速度方面，对数最大似然与梯度下降在Softmax身上简直是绝配。对于一个输入为 $x$ 的样本，假设它的真实分类是 $i$ ，对于模型的第 $j(j\ne i)$ 个输出有 $\frac{\partial }{\partial a_j}$ p_j\approx 0$$ j$$ p_{\mathrm{j\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}}\approx 1$$ j$$ i$$ \frac{\partial }{\partial a_i}$ p_i\approx 0$$ i$$ p_i\approx 1$$ \mathrm{i\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}$$$

当然也有人在Softmax上尝试其他损失函数，比如最有名的最小二乘。结果是两者并不搭，因为在最小二乘下模型如果预测完全错误时修正也会非常小。设 $y=e_i$ （注意这里的 $y$ 是黑体），对最小二乘 $L_2\left(p\right(a),\mathrm{y\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});})=||p\left(a\right)-y|{|}^2$ 关于 $a_i$ （假设 $i$ 是正确类别）求导得

$\frac{\mathrm{\partial \; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}}{\partial a_i}$

$={\sum }_{j\ne i}2(p_j-y_j)\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});p_j(0-p_i)+2(p_i-y_i\left)p_i\right(1-p_i)$

如果对于正确类别 $i$ 模型的预测是 $p_i\approx 0$ （与实际强烈不符），显然有 $\frac{\partial }{\partial a_i}$

PS：Softmax还有一个重要性质是平移不变性，即 $softmax\left(a\right)=soft\mathrm{m\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}ax(a+b)$ ，因为 $\frac{\exp (\; a\; j\; +\; b\; )}{{\sum }_k\exp (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});\; (\; a\; k\; +\; b\; )}$

综上所述，首先，Softmax的确可以表示概率，且随着样本的增多通过对数最大似然与梯度下降可以无限逼近真实概率值；其次，Softmax与对数最大似然这一组合在梯度下降中有很好的修正速度；最后，因为平移不变性，我们只需要关心模型不同类别输出间的相对大小，不需要关心绝对大小。