Attention-over-Attention Neural Networks for Reading Comprehension

阅读理解-蛮荒时代

---

Abstract

本文提出了Attention-over-Attention reader 模型。

该模型中采用了 N-best re-ranking 策略来再次对候选项进行选择。

数据集： CNN, Children's Book Test

Introduction

我们主要的贡献在于：

• 这是第一次在attention中嵌套另一个attention
• 我们的模型更简单，但是更高效
• 提出了N-best re-ranking 策略来对候选者重新打分以提高性能。

Attention-oevr-Attention Reader

1. Contextual Embedding

首先， 依旧是使用双向RNN（LSTM or GRU) 来获得 Document 与 Query 的上下文表示。 其中，无论是对 Document 还是 Query ， 其获得的都是 上下文 Embedding 矩阵：

$$e(x) = W_e \cdot x , 其中 x \in D,Q \\ \overrightarrow{h_s(x)} = \overrightarrow{GRU}(e(x)) \\ \overleftarrow{h_s(x)} = \overleftarrow{GRU}(e(x)) \\ h_s(x) = [\overrightarrow{h_s(x)}; \overleftarrow{h_s(x)} ]$$

我们使用一下表示：

$$d_{doc} \in R^{|D| * 2d} 表示document的上下文表示 \\ h_{query} \in R^{|Q| * 2d} 表示query的上下文表示 \\ $$

2. Pair-wise Matching Score

然后，我们计算 Pair-wise Matching Score，其实就是计算 Document 中第 i 个词 与 Query 中的第 j 个词的相似度或相关度：

$$M(i, j) = h_{doc}(i)^T \cdot h_{query}(j)； \quad M \in R^{|D| * |Q|}$$

3. Indivial Attentions

再然后，进行 Individual Attentions， 其实就是对矩阵 M 的每一列做 softmax， 其中，M的一列代表的是对于 Query 中的某个词与所有 Document 中词的相关度， 那么对每一列进行 softmax 的意思就是对于给定的一个 Query 词， 对 Document 中的每个词进行 Attention，这里称之为 query-to-document attention， 公式如下：

$$\alpha(t) = softmax(M(1,t), \cdots, M(|D|, t)); \quad a(t) \in R^{|D|} \\ \alpha = [\alpha(1), \alpha(2), \cdots, \alpha(|Q|) ]；\quad \alpha \in R^{|Q|\times |D|}$$

4. Attention-over-Attention

然后，进行 Attention-over-Attention， 其实就是对矩阵M的每一行做 softmax， 而 M 的一行表示的是对于 Document 中的某个词与所有 Query 中词的相关度，那么对每一行进行softmax 的意思就是对于给定的一个Document 词，对Query 中的每个词进行Attention， 这里称为 document-to-query attention， 公式如下：

$$\beta(t) = softmax(M(t,1), ... M(t, |Q|)); \quad \beta(t) \in R^{|Q|}$$
然后， 对 $\beta(t)$ 求和平均来得到 query-level attention $\beta$ ， 从直观上而言，这里是获得对于整个document，每个query的Attention value:
$$\beta = \frac{1}{n} \sum_{t=1}^{|D|} \beta(t); \quad \beta \in R^{|Q|}$$

5. Final Predictions

最终，Final Predictions 将相同词的score 合并，得到每个词的score， 其实就是 Attention-Sum 里面提出的创新部分：

$$P(w | D, Q) = \sum_{i \in I(w,D)} s_i, \quad w \in V \\ 损失函数： L = \sum_i log(p(x)), x \in A$$

本模型可以说是花式Attention的一个典型代表了，其不仅仅考虑了query到document的attention，而且考虑了document 到 query 的attention，于是称为 attention over attention。 虽然无法解释其内部的玄学，但的确该机制在很多后续的模型中都有应用，效果也不错。

4. N-best Re-ranking 策略

• N-best Decoding

我们在解码过程提取一个N-best 列表

• Refill Candidate into Query

我们将每个候选项填入句子空白处组成一个完整的句子， 然后我们通过上下文来检查选项。

• Feature Scoring：

候选者可以从多个方面来打分，文章中选择了三个方面：

• Global N-gram LM:
• Local N-gram LM:
• Word-class LM:

• Weight Tuning
  论文采用 K-best MIRA 算法自动来调整各个features之间的权重

• Re-scoring and Re-ranking

得到feature的权重之后，我们计算每个特征的和，然后选择最终答案。