干货|通俗理解指数加权平均

在深度学习优化算法中，我们会涉及到指数加权平均这个概念，下面我将通过例子来一步一步引出这个概念。

平均数求法

比如我们现在有100天的温度值，要求这100天的平均温度值。

24，25，24，26，34，28，33，33，34，35..........32。

我们直接可以用公式：

通过上面的公式就可以直接求出10天的平均值。 而我们要介绍的指数加权平均本质上就是一种近似求平均的方法。

2

指数加权平均

化简开得到如下表达式：

通过上面表达式，我们可以看到，V100等于每一个时刻天数的温度值再乘以一个权值。

本质就是以指数式递减加权的移动平均。各数值的加权而随时间而指数式递减，越近期的数据加权越重，但较旧的数据也给予一定的加权。

而在我们上面提到的普通平均数求法，它的每一项的权值都是一样的，如果有n项，权值都为1/n。

指数加权平均的本质还可以用下图表示：

指数加权平均的结果是由当天温度值乘以指数衰减函数值，然后类和求得！

转自：机器学习算法与自然语言处理

完整内容请点击“阅读原文”