深度学习： 其他

deep-learning

---

指数加权平均

$$v_t = \beta * v_{t-1} + (1-\beta) \theta_t$$

本质就是以指数式递减加权的移动平均。各数值的加权而随时间而指数式递减，越近期的数据加权越重，但较旧的数据也给予一定的加权。

而在我们上面提到的普通平均数求法，它的每一项的权值都是一样的，如果有n项，权值都为1/n。

我们可以看到指数加权平均的求解过程实际上是一个递推的过程，那么这样就会有一个非常大的好处，每当我要求从0到某一时刻（n）的平均值的时候，我并不需要像普通求解平均值的作为，保留所有的时刻值，类和然后除以n。

而是只需要保留0-(n-1)时刻的平均值和n时刻的温度值即可。也就是每次只需要保留常数值，然后进行运算即可，这对于深度学习中的海量数据来说，是一个很好的减少内存和空间的做法。

$$D = \frac{1}{1-\beta}$$
D 表示指数加权平均考虑了当前温度前D天的温度，因为在往前算的话温度代入公式结果接近于0可以忽略。所以 $\beta$ 越大，就会考虑到更多历史天的温度，对当前温度也就越不敏感。

偏差修正

使用上述公式计算指数加权平均的话，一开始的指数加权平均值会很小，不能代表平均值，可以使用偏差修正来修正：

$$v_t = \frac{v_t}{1-\beta^t}$$

但是一般机器学习并不关心一开始的指数加权平均值，所以可以不用偏差修正来修正。