深度学习： 循环神经网络

deep-learning

---

1. 处理文本数据时，RNN与前馈神经网络的区别

卷积神经网络对文本数据建模时， 输入变长的字符串或单词串，然后通过滑动窗口加池化的方式将原先的输入转化为一个固定长度的向量表示，这样做可以捕捉到文本中的一些局部特征，但两个单词之间的长距离依赖关系还是很难被学习到。

循环神经网络能够很好的处理文本数据变长且有序的输入序列，它能够将前面的有用信息编码到状态变量中去，从而拥有一定的记忆能力，能够更好的理解文本。

2. RNN 中的梯度消失问题

• RNN 的公式可以粗略的描述为
  

  $$net_t = Ux_t + Wh_{t-1} \\ h_t = f(net_t)$$

• 则对于RNN的BPTT算法来说有：
  

  $$\frac{\delta net_t}{\delta net_{t-1}} = \frac{\delta net_t}{\delta h_{t-1}} \frac{\delta h_{t-1}}{\delta net_{t-1}} = W \cdot \frac{\delta net_t}{\delta net_1} \\ = W \cdot diag[f'(net_{t-1})] = \begin{pmatrix} w_{11}f'(net_{t-1}^1) & ... & w_{1n}f'(net_{t-1}^n) \\ \vdots & \ddots & \vdots \\ w_{n1}f'(net_{t-1}^1) & ... & w_{nn}f'(net_{t-1}^n) \\ \end{pmatrix} \\ \frac{\delta net_t}{\delta net_{1}} = \frac{\delta net_t}{\delta net_{t-1}} \cdot ... \frac{\delta net_2}{\delta net_1} = W^{t-1} \prod_{i=1}^{t-1} f'(net_i)$$

• 对前馈神经网络而言，深度残差网络能够很好的缓解梯度消失现象

• 对于RNN来说， 具有门控机制的 LSTM, GRU 能够很好的弥补梯度消失带来的损失
• 梯度爆炸可以通过梯度裁剪来缓解

3. RNN 中的激活函数

RNN能否采用Relu作为激活函数

可以，但是需要对矩阵的初值做一定限制，否则非常容易引发数值问题。 夹着Relu一直处于激活区域(即输入>0)，则在前向传播中， $net_t$ 表达式中会包含W个连乘，如果W不是单位矩阵（对角元素为1，其余元素为0），则结果将会趋于0或者无穷。从反向传播的角度来看，如果采用了Relu， 只要W不是单位矩阵，就还会出现梯度消失，梯度爆炸的问题。

而在卷积神经网络中，每一层的权重W是不同的，因此多层之后一般不会出现严重的数值问题。

实验表明： 单位矩阵W+Relu 能够取得与LSTM相似的效果，值得尝试。

4. LSTM

1. 理论概述

• 遗忘门： $c_{t-1}$ 对 c_t 的影响

• 输入门： $x_t ,h_{t-1}$对 $c_t$的影响

• 输出门： $c_t$ 对 $h_t$ 的影响

• 遗忘门： 决定上一时刻的单元状态 $c_{t-1}$ 有多少保留到当前时刻
  

  $$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$

• 输入门：决定当前时刻网络的输入 $x_t$ 有多少保存到单元状态 $c_t$

$$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i )$$

• 当前输入的单元状态 $\widetilde{c_t}$， 即不包含上一时刻长期状态$c_{t-1}$ 时的单元状态
  

  $$\widetilde{c_t} = tanh (W_c \cdot [h_{t-1}, x_t] + b_c)$$

• 当前时刻的单元状态 $c_t$， 即包含上一时刻与当前输入单元状态：
  

  $$c_t = f_t \odot c_{t-1} + i_t \odot \widetilde{c_t}$$

• 输出门: 控制单元状态 $c_t$ 有多少输入到LSTM的当前输出值 $h_t$

$$o_t = \sigma (W_o \cdot [h_{t-1}, x_t] + b_o)$$

• 最终输出 $h_t$:

$$h_t = o_t \odot tanh(c_t)$$

在LSTM中，当 $x_t$ 中没有重要信息时，遗忘门的值接近于1， 输入门的值接近于0， 此时过去的记忆会被保存，从而实现长期记忆功能。 当$x_t$中出现了重要的信息时，输入门的值会接近于1；当$x_t$中出现重要信息且之前的记忆都不再重要时，输入门的值接近1， 遗忘门的值接近0，这样旧的记忆就被遗忘，新的重要信息被记忆。

2. LSTM 中各个模块的激活函数

遗忘门，输入门，输出门使用Sigmoid函数作为激活函数； 生成记忆时采用tanh。注意，这两个激活函数都是饱和的，即输入达到一定值的情况下，输出就不会发生明显变化。

Sigmoid 输出在0-1之间，因此十分符合门的定义。tanh的输出在-1~1之间，这与大多数场景下特征分布是0中心温和，且tanh输入为0附近有较大的梯度，通常使模型收敛更快。

在计算资源受限的设备中，可以采用0/1门来替换sigmoid。

5. Seq2Seq

核心思想是通过深度神经网络将一个输入序列映射为一个输出序列，这一过程由Encoder，Decoder两个过程。

Decoder 常见方法

大量的改进都发生在Decoder部分。

• 基础方法-贪心法： 选取一种度量标准后，每次都在当前状态下选择最佳的一个结果，直到结束。 贪心法计算代价低，适合作为基准方法。 但由于贪心算法每次获得的都是一个局部最优解，因此考虑到实际问题的复杂性，该方法往往不能取得最好的结果。
• 改进方法-集束搜索：该方法保存 beam size 个当前较佳选择，然后解码时每一步根据保存的选择进行下一步扩展和排序，接着选择前b个最优选择进行保存，循环迭代，直到结束时选择最佳的一个作为结果。
  由于b的增大，搜索的空间也会增大，最终效果会有所提升，但需要的计算量也相应增大。实际中b往往是一个权衡的结果，以8-12为佳。
  
• 注意力机制：下文描述

6. 注意力机制

1. 注意力机制解决了什么问题

随着输入序列的增长，模型的性能发生了显著下降，这是因为Encoder时输入序列的全部信息压缩到一个向量表示中，随着序列增长，句子越前面的词的信息丢失就越严重。双向LSTM能一定程度缓解这个问题，但对过长的序列仍然难以有更好的表现。 此外，在Decoder的输出序列中，常常会损失部分输入序列的信息，这是因为在Encoder时，当前词及对应的源语言词的上下文信息和位置信息在编解码过程中丢失了。