A Neural Probabilistic Language Model

language-models

前言

A Neural Probabilistic Language Model是Bengio在2003年发布的关于语言模型的文章，是Word Embedding的开山之作。

模型初探

观察上图，假设有一组词序列：$w_1, w_2, \cdots, w_t$，其中$w_i \in V$ ，V 是所有单词的集合。我们的输入是一个词序列，而我们的输出是一个概率值，表示根据context预测出下一个词是 $i$ 的概率。用数学来表示，我们最终是要训练一个模型：

$$f(w_t, w_{t-1}, \cdots, w_{t-n+1}) = P(w_t = i | context) = P(w_t | w_1^{t-1})$$
其中有：

• $w_t$ 表示这个词序列中的第 $t$ 个单词，$w_{t-n+1}$ 表示输入长度为n的词序列中的第一个单词
• $w_1^{t-1}$ 表示从第1个单词到第 $t-1$ 个单词组成的子序列

该模型需要满足两个约束条件：

$$f(w_t, w_{t-1}, \cdots, w_{t-n+2}, w_{t-n+1}) > 0 \\\ \sum_{i=1}^{|V|} f(i, w_{t-1}, \cdots, w_{t-n+2}, w_{t-n+1}) = 1$$
其中有：

• $|V|$ 表示词表的大小

模型的前向传播

该模型结构分为三层，分别是输入层，一层隐层，输出层。在整个结构中涉及到的参数包括以下几个：

参数	维度	说明
b	|V| 维向量	输出层偏置
d	h维向量	隐藏层偏置
U	|V| *h	隐藏层到输出层权重
W	|V| * (n-1)m	词特征层到输出层的权重
H	h * (n-1)m	隐藏层权重

• 对于输入层，我们先将输入词序列 $w_1, \cdots, w_n$ 映射到词表中，如词$w_1$ 是词表中是第i个元素，编码为one-hot embedding；然后我们再将这个元素映射到词向量$C(i)$ 中，其中 $C(i) \in R^m$ ，它表示的是词表中第i个词的distributed representation。 C实际上就是一个$|V| × m$ 的自由参数矩阵，$|V|$表示词表的大小， $m$ 表示每个词的维度。

  ​
  

  $$x(k) \leftarrow C(w_{t-k}) \qquad x(k) 是m维的向量 \\\ x = (x(1), x(2), \cdots, x(n-1)) \qquad x 是 (n-1) × m 维的矩阵$$
  其中，词的映射过程用图表示如下：

  

• 隐层是对所有输入的融合：

  ​
  

  $$o \leftarrow d + Hx; \qquad o是长度为h的向量 \\\ a \leftarrow tanh(o) \qquad a是长度为h的向量$$

• 在输出层中，同时受到隐层输出 a 和 输入层输出 x 的影响，公式如下：
  

  $$y = b + Wx + Utanh(d + Hx) \\\ p(w_t|w_{t-1}, \cdots, w_{t-n+1}) = \frac{e^{y_{w_t}}}{\sum_i e^{y_i}}$$

最后，一目了然，$x$ 是输入， $P(w_t| w_{t-1, \cdots, w_{t-n+1}})$ 是输出，需要更新的参数包括：$\theta=(b,d,W,U,H,C)$。

模型的训练

首先，损失函数为：

$$L = \dfrac{1}{T}\sum_t \log \hat{P}(w_t|w_{t-1},\dots,w_{t-n+1})+R(\theta)$$
其中，R是正则化项。训练使用SGD算法，更新原则为：
$$\theta \leftarrow \theta+\epsilon\dfrac{\partial\log\hat{P}(w_t\mid w_{t-1},\dots,w_{t-n+1})}{\partial \theta}$$

其中， $\epsilon$ 为学习速度。

最后

其实，如果单从word embedding 的角度来看，词向量无非是在训练神经语言模型最后得到的副产物（如上面的C），这也意味着如果要想获得更棒的词向量，我们训练所用的语料库必须足够的大。