Convolutional Neural Networks for Sentence Classification

文本分类

能否将多个模型融合起来，然后按照少数服从多数的原则给出分类。

Abstract

本文将CNN + pre-trained 词向量用于sentence-level 分类任务中。 实验表明带有少量超参数的和静态的词向量能够实现较好的结果。

Model

1. 句子中的第i个单词$x_i \in R^k$ 是一个k维的词向量， 长度为n的句子表示为：
   

   $$x_{1:n} = x_1 \bigoplus x_2 \bigoplus \cdots \bigoplus x_n$$
   这表示将所有词向量排列成一个词向量矩阵。

2. 卷积核(filter) $w \in R^{hk}$, 作用于由h个单词组成的窗口上， 并产生a new feature. 例如，feature $c_i$ 是从窗口：$w_{i:i+h-1}$ :
   

   $$c_i = f(w \cdot x_{i:i+h-1} + b$$
   其中 $b \in R$ 是bias项， f是一个非线性函数，卷积核w不断作用于窗口上：$x_{1:h}, x_{2:h+1}, \cdots, x_{n-h+1:n}$, 然后产生一个feature map：
   $$c = [c_1, c_2, \cdots, c_{n-h+1}$$

3. 然后我们队feature map做一个 max-over-time 池化操作：$\hat{c} = max{c}$, 该池化的作用是为了获取该filter最重要的特征。

4. 在该模型中使用了多个filter， 来获取多个feature。然后将这些特征送往一个softmax层， 该层的输出就是lables的概率分布。

2.1 正则化