dropout in RNN

dropout rnn

RNN

• 输入一个序列的信号，每个时间步一个RNN单元 处理一个信号，多个时间步共用这个RNN单元（参数）
• RNN各种变种 LSTM, GRU
• RNN应用很广：语言建模，语音识别，机器翻译
• 没有好的正则方法适合RNN，为了避免过拟合，实际中的RNN都很小（隐状态，输入的向量 维度小），early stopping。

deep LSTM + zaremba_rnn regularization

Dropout in RNN

• srivastava_improving neural networks with dropout_PhDthesis_2013 标准 dropout
• dropout在前馈网络中应用的很好
• wang_fast dropout training_ICML13 marginalized dropout, 对标准dropout的一种 没有噪声的 确定的 估计。
• bayer_on fast dropout and its applicability to recurrent networks_2013 把marginalized dropout应用到RNN,认为循环递归放大的噪声，只用到前馈连接，不适合用到recurrent连接。
• pham_dropout improves rnn for handwriting recogniion_2013
• pachitariu_regularization and nonlinearities for neural language models: when are they needed?_2013 有把dropout应用到LSTM，加噪声到recurrent连接会导致不稳定性，只对decode部分加噪声
• zaremba_rnn regularization_iclr2015 将dropout应用到deep LSTM上
  
  • 层与层直接引入dropout：词语进入LSTM之前，这一层的LSTM的hidden作为下一层的LSTM的输入之前，最后一层的LSTM的hidden到y空间之前。
  • 直接dropout，不同时间步的同一位置的层间连接 dropout可以不同
  • 一个序列的多个时间步 recurrent连接 不用dropout
  • 
  • 
• moon_rnndrop- a novel dropout for rnn in asr_2015
  
  • 随机扔掉LSTM中的单元c，c是向量，扔掉某些维度。
  • 同一个序列的不同时间步同时仍或不扔--c的某一个维度在一个序列中要么都保留要么都扔掉
  • 
• gal_a theoretically grounded application of dropout in rnn_nips2016 变分dropout应用到deep LSTM，dropout加到权重上面。
  
  • 将 （LSTM内部4个门的、hidden到y空间的）权重参数看作随机变量定义先验及后验分布。
    
    • i(fog)=xW+hW
    • 后验 权重矩阵W的一行：$w$向量 $$q(w)=p{\mathcal N}(0,\sigma^2I)+(1-p){\mathcal N}(m,\sigma^2I)$$ $m$是要学的后验参数。对应于输入(x,h一共2K维)的某一维对应的W全部dropout或保留。
    • 由于x和h对应的w都有后验分布都有采样，即不同的层的输出到输入的前馈连接、不同的时间步的hidden到hidden的recurrent连接 都有dropout。
    • untied-weights LSTM: 四个门的参数（一共8个k*k的参数)独立，即在i门里输入x的某一维被dropout了 但可能在f门里其保留着的。
    • tied-weights LSTM： 四个门的参数写在一起 （一个2k*4k的参数），即输入xh的某一维被dropout则在4个门中都被dropout了。
    • 同一个序列的输入从后验分布采样一次参数，多个时间步共用这个参数 即相当于共用一组dropout掩码。
    • 不同层的hidden的dropout掩码不一样即说明 不同层不共用W参数哦。那么总共参数的大小应该= 层数*8*k*k+hidden到y空间映射的参数+embedding矩阵？
  • 将 词典空间到hidden空间的embedding矩阵W也dropout
    
    • 按行采样，dropout一个输入维 相当于扔掉这个词语
    • 同一个序列采样一次W，多个时间步共用，则相当于 一个序列句子的某个词语的多次出现同是被dropout或者保留，针对词语而不是token（词语的每次出现)(也不是embedding的latent维度）
    • 从词典空间高维采样二元变量不实际，直接从时间步个token中采样词语个二元变量
  • 预测
    
    • 标准的dropout估计：将每一层的均值传播到下一层
    • MonteCarlo dropout：从后验采样K组w做K次预测求平均。