A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task

阅读理解-蛮荒时代

---

仓库实现：
https://github.com/jojonki/CNN-Daily-Mail-Reading-Comprehension-Task -- keras

简介

数据集： CNN/Daily Mail， 提出了Standford Reader

博客内容

该模型是 Attentive Reader 延伸， 但在 Attention 的部分又有所不同。

• 首先，模型通过 双向LSTM 分别对Passage 与 Query 进行Embedding， 对于 Passage， 我们获得一个词的上下文信息矩阵：$\tilde{p}，\tilde{p_i} = concat( \overrightarrow{h_i}; \overleftarrow{h_i}) \in R^h$ ； 而对于 Query， 我们获得一个句子级别的向量表示： $q \in R^h$ 。

• 接下来，我们需要计算 Passage 中每个词与 Query的相关度， 然后获得最终输出到output layer 的输出表示：
  

  $$\alpha_i = softmax_i \, q^T W_s \tilde{p}_i ; \quad W_s \in R^{h \times h } \\ o = \sum_i \alpha_i \tilde{p}_i$$

• 最后，我们将 o 输入到 output layer， 然后进行预测：
  

  $$a = argmax \, W^T_a o$$

很明显，该模型更加干净，简洁，且获得的效果是要比 Attentive Reader 好 8-10% 个点的。 我们来简单介绍一下二者的不同：

• 首先，在score部分计算相关度时， Attentive Reader 采用的是 tanh， 而该模型中采用的是MLP， 这样不仅仅效果更好，也更高效。
• 其次在 output layer 部分，Attentive Reader 在最终预测之前，采用 tanh 将 $r$ 与 $u$ 结合起来； 而Standford Reader 仅仅采用 $o$ 作为最终预测的输入， 这种用法更加高效。
• 考虑到预测的结果是一个会出现在 Passage 中的实体，因此 Standford Reader仅在出现的实体范围内进行预测。而 Attentive Reader 会在Passage， Question 中出现所有单词中进行预测。

其中，第一点是性能获得很大提升的关键因素，而第2,3点的目的更多的是将模型简化。

目前，该模型只有 Theano 的实现，如果后续有时间的话，我会尝试用TensorFlow 重写一下，先立一个 Flag。

End to End Neural Network

我们的模型基于 attentive reader 模型，模型架构如下图所示：

1. Encoding

• 首先，我们对passage和query进行encoding，通过一个enbedding矩阵 $E \in R^{d × |V|}$ 将每个单词转化为一个d维的向量。我们获得了 $P: p_1, \cdots , p_m \in R^d$ 和 $Q: q_1, \cdots, q_l \in R^d$ 。

• 然后，我们用一个浅层的双层的RNN,RNN单元个数为$\tilde{h}$
  

  $$\overrightarrow{h_i} = RNN(\overrightarrow{h_{i-1}}, p_i), \quad i = 1, \cdots, m \\\ \overleftarrow{h_i} = RNN(\overleftarrow{h_{i-1}}, p_i), \quad i = 1, \cdots, m$$

我们得到

$$\tilde{p_i} = concat(\overrightarrow{h_i}, \overleftarrow{h_i}) \in R^h \\ 其中 \quad h = 2\tilde{h}$$

• 同样，我们使用另一个双向RNN对$q_1, \cdots, q_l$ 进行编码得到 $q \in R^h$

在双向RNN中，我们采用GRU作为RNN单元。

2. Attention

在此步中，目的是为了比较 question embedding 和 所有的contextual embeddings,然后挑选与question相关的信息。

我们需要计算$\alpha$，$\alpha$ 表示的就是注意力的值，其中 $\alpha$取决于 $p_i$ 与问题q的相关程度。

$$\alpha_i = softmax_i \, \, q^TW_s\tilde{P_i}$$

o 表示的是带有注意力机制的向量

$$o = \sum_i \alpha_i \tilde{p_i}$$

3. Prediction:

$$a = argmax_{a \in p \bigcap E} \quad W^T_ao$$

该模型的主要改进

1. 在计算question embedding和passage embedding的相关度，即attention值的时候，用bilinear term代替了tanh层，结果表明，用bilinear term能够有效地提升模型效果
2. 第二个改进主要是对模型的简化，原有模型在得到了带attention的embedding o之后，用了一层非线性层对embedding o和question embedding进行结合，再做预测，实验结果表明，去掉该非线性层对模型效果影响不大
3. 预测所用的词表只使用在passage中出现过的entity。