深度学习之Word2Vec原理剖析

deep-learning

---

参考：

tensorflow 实现源码地址

[NLP] 秒懂词向量Word2vec的本

tensorflow官方

word2vec 中的数学原理详解

Deep Learning in NLP （一）词向量和语言模型 -- 写的很好

Word2vec数学原理全家桶

前言

这篇文章闷了20天左右才真正完成，一方面是觉得自己理解不够（毕竟不是专门做词向量的），另一方面是要学习的内容太多，以至于没有时间对自己的知识进行归纳总结，真是一入NLP深似海啊。

阅读本文之前你需要对整个NLP的发展，包括语言模型，Word Embedding等有基本的了解，如果你对此并不熟悉的话，可以参见:

• NLP之语言模型
• NLP中的word-embedding:词嵌入
• A Neural Probabilistic Language Model

什么是Word2Vec？

Word2Vec是Word Embedding的一种模型，其与A Neural Probabilistic Language Model中介绍的模型作用相同，但是更有效，是目前使用最广的词向量模型。

如果说要深入了解Word2Vec，我推荐你看以下这几个Paper：

• Mikolov, T.(2013). Distributed Representations of Words and Phrases and their Compositionality.
• Mikolov, T.(2013). Efficient Estimation of Word Representations in Vector Space.
• Rong, X. (2014). word2vec Parameter Learning Explained.

在Word2Vec中，提出了两个模型：

• CBOW(Continuous Bag-of-Word)：以上下文词汇预测当前词: $w_{t−1},w_{t+1}$ 去预测 $w_t$
• SkipGram：以当前词预测其上下文词汇: $w_t$ 去预测 $w_{t−1},w_{t+1}$

CBOW模型

• CBOW(Continuous Bag-of-Word)：以上下文词汇预测当前词: $w_{t−1},w_{t+1}$ 去预测 $w_t$

这是一个两层的神经网络，并且与A Neural Probabilistic Language Model中的模型类似，不同点在于CBOW去掉了最耗时的非线性隐层且所有词共享隐层。而CBOW模型的目的是预测 $P(w_t| w_{t-k}, \cdots, w_{t-1}, w_{t+1}, \cdots, w_{t+k})$ 。

• 输入层输入C个单词：$x_{1k}, \cdots, x_{Ck}$ ，并且每个 $x$ 都是用 One-hot 编码表示。
• 在隐藏层中，我们的所有输入的词转化为对应词向量，然后取平均值，这样我们就得到了隐层输出值（隐层中无激活函数）：

$$h = \frac{1}{C} W^T(x_1 + x_2 + \cdots + x_c) \\\ = \frac{1}{C}(v_{w1} + v_{w2} + \cdots + v_{wc})^T$$

• 输出层的输入是$h$， 其权重矩阵为$W'$ :
  $$u = W'^{T} * h$$
  最终我们得到的u是一个 $|V| × 1$ 的向量 ，向量u中的元素$u_j$ 表示的是词汇表中第j个词的分数，而我们最终预测的值就是向量u中分数最高的词。论文中为了表示方便，使用概率来对其表示，使用softmax将向量u归一化到 $[0,1]$之间：
  $$P(w_j| context) = \frac{e^{u_j}}{\sum_{k \in V} e^{u_k}}$$

Skip-gram模型

• 已知当前词$w_t$ 的前提下，预测其上下文 $w_{t-2}, w_{t-1}, w_{t+1}, w_{t+2}$ 。

• 对于输入层，我们输入的是一个单词，其表示形式依旧是One-hot ，我们将其表示为$x_k$。

• 我们先将该词转化为对应的词向量，并作为隐层的输入（因为隐层没有激活函数，所以输入=输出）：
  

  $$h = W^T * x_k = v^{T}_{w_I}$$

• 输出层输出C个单词，分别为：$y_1, y_2, \cdots, y_C$

  ​​