从数学分析的角度来看SOFTMAX

从数学分析的角度来看SOFTMAX

来源：36大数据

编辑：Gemini

Softmax是机器学习中最常用的输出函数之一，网上有很多资料介绍它是什么以及它的用法（http://ufldl.stanford.edu/wiki/index.php/Softmax回归），但却没有资料来介绍它背后的原理。本文首先简单地介绍一下Softmax，然后着重从数学分析的角度来分析一下它背后的原理。

分类问题是监督学习中最重要的问题之一，它试图根据输入

$x$ 来预测对应标签 $y$ 的概率。Softmax便是计算标签概率的重要工具之一：

$p=softmax\left(\mathrm{a\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}\right)\iff p_i=\frac{\exp (\; a\; i\; )}{{\sum }_j\exp (\; a\; j\; )}$

其中 $a_i$ 是模型对于第 $i$ 个分类的输出。接下来简单地证明一下：通过对数最大似然以及梯度下降方法可以使 $p_i$ 逼近第 $i$ 个分类的真实概率。对数最大似然中的损失函数为 $L_{NLL}(p,\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});y)=-\log p\; y$

$\frac{\partial }{\partial a_k}$

$=\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});-1_{y=k}+\frac{e^{a_k}}{{\sum }_j{e}^{a_j}}$

即 $\frac{\partial }{\partial a}$ e_y=[0,\cdots ,0,1,\mathrm{0\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});},\cdots ,0]$$ y$$ x$$ a$$ p_i$$ i$$ \mathrm{p\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}=E\left[e_y|x\right]$$ \underset{N\to \infty }{lim}\frac{1}{N}$ \underset{N\to \infty }{lim\; (adsbygoogle\; =\; window.adsbygoogle\; ||\; []).push(\{\});}\frac{1}{N}$$$

从收敛速度方面，对数最大似然与梯度下降在Softmax身上简直是绝配。对于一个输入为 $x$ 的样本，假设它的真实分类是 $i$ ，对于模型的第 $j(j\ne i)$ 个输出有 $\frac{\partial }{\partial a_j}$