dropout

未分类

一个网络单元的输入乘以dropout变量再乘以权重求和经过激活函数得到该单元的输出。考虑高斯dropout，权重和高斯噪声乘，等价于权重是从高斯分布中采样的（不再是一个确定的数值了，也即为权重设置高斯噪声）。可以解释该高斯分布为权重的后验分布，权重是从后验分布采样来的。
- 若$x\sim N(0,1)$,则 $ax+b\sim N(b,a^2)$。
Proof:
${\rm E}(ax+b)=a{\rm E}(x)+b=b$
${\rm Var}(ax+b)=a^2{\rm Var}(x)=a^2$
- 从$w\sim N(a,b)$的采样方法是：
$\epsilon \sim N(0,1), w=\sqrt{b}+a$
- $w$从$N(\theta,\alpha\theta^2)$采样：
$w=\theta+\sqrt{\alpha}\theta$因为$=\theta(1+\sqrt{\alpha})$,也相当于给$\theta$乘以了一个从$N(1,\alpha)$分布的采样。$N(1,\alpha)$即为高斯dropout变量。