Option Comparison Network for Multiple-choice Reading Comprehension

RACE

---

Abstract

现有的MCRC模型在比较选项之前会将每个选项分别压缩成一个固定维的表示。 然而，在详细阅读文章之前，我们通常会在多粒度级别对选项进行比较来获得更有效的结果。模仿人们，我们针对MCRC提出一个OCN， 该网络在word-level 比较选项来更好的识别它们之间的关系来帮助推理。

1. Embedding Layer: Feature Extraction

与 DCMN 不同的是，OCN 没有分别用Bert 来进行Embedding， 而是先将 $，P， Q, O_k$ 三者采用 $[SEP]$ 分隔符连接，然后再一起送入Bert， 注意，我们的RACE数据集有四个Option， 因此需要4个 Bert ， 因此，跑不动， 卒。

$$[P^{enc}; Q^{enc}; O_k^{enc}] = BERT(<P; Q; O_k>); \quad P^{enc} \in R^{d \times m}, Q^{enc} \in R^{d \times n}, O^{enc}_k \in R^{d \times n_k}$$
这里有一个小问题， 为何作者不采用 DCMN 那样用 Bert 做独立的Embedding， 是机器不够？还是有意为之？

文章考虑到 question 的信息与 option 的信息是息息相关的，因此将二者连接起来，这为下一部分的 Option 之间的比较做准备。

$$O_k^q = [Q^{enc} | O_k^{enc}] \in R^{d \times n_k'}, n_k' = n + n_k$$

Attention 机制

考虑到文章中在多个层中都使用了同一个Attention， 因此在此简单描述一下：

$$s_{ij} = v^T [U_{:i}; V_{:j}; U_{:i} \circ V_{:j}]; \quad U \in R^{d \times N}; V \in R^{d \times M}; v \in R^{3d} \\ \\ A = Att(U,V;v) = [\frac{e^{s_{ij}}}{\sum_i e^{s_{ij}}}]_{i,j} ; \, \, A \in R^{N \times M}\\ $$
注意到，这个 Attention 与传统的Attention 差别不大， 可以与之前的对比一下：NLP中的 Attention 机制

2. Option Correlation Features Extraction

此部分是文章的创新所在，作者认为，选项与选项之间的比较是带有一些信息的，正如人在做阅读理解时也会反复的比较选项，才会最终确定答案。

首先，选项 $k$ 与选项 $l$ 之间的对比信息生成如下：

$$\overline{O}_k^{(l)} = O_l^q Att(O_l^q, O_k^q; v_o) \\ \tilde{O}_k^{(l)} = [O_k^q - \overline{O}_k^{(l)}; O_k^q \circ ]\overline{O}_k^{(l)}]; \quad \tilde{O}_k^{(l)} \in R^{2d \times n_k'}$$
对于每个选项，我们要与其他3个选项分别比较，因此我们生成了三个这样的矩阵，然后将这三个对比信息融合：
$$\tilde{O}_k^c = tanh(W_c [O_k^q; {\tilde{O}_k^{(l)}}_{l \not= k}] + b_c) ; \quad W_c \in R^{d \times (d + 2d(|O|-1))}; b_c \in R^d$$
最后，采用门机制将选项信息与选项比较信息结合起来，最终生成选项 $k$ 的最终表示：

• 门的定义如下：

$$A^q = softmax(v_a^T Q^{enc})^T, v_a \in R^d \\ \tilde{Q} = Q^{enc} A^q ; \quad \tilde{Q} \in R^d \\ g_{k,:i} = sigmoid(W_g[O_{k,:i}^q; \tilde{O}_k^c; \tilde{Q}] + b_g); \quad g_k \in R^{d \times n_k'}$$

• 选项 $k$ 的最终表示:

$$O_{k;:i}^c = g_{k,:i} \circ O^q_{k,:i} + (1-g_{k,:i}) \circ \hat{O}_{k, :i}^{c}$$

写到这，不由的感叹，这尼玛也太复杂了吧，感觉没有必要这么搞， 选项之间的比对信息的确有用，但这么做与DCNN相比的确太复杂，我觉得这块有优化的余地，哎，可惜机器不行啊，卒。

3. Article Rereading

文章最后将所有的信息综合， 重新对文本信息进行匹配阅读，这与传统的思路一样了。

首先， 将选项 $k$ 的表示与Passage 信息结合， 注意到，此时选择 $k$ 的表示中包含有：选项本身信息， 问题信息，选项对比信息， 最终我们生成对于选项 $k$ 其各种信息综合后的结果：

$$A_k^c = Att(O_k^c, P^{enc}; v_p) \in R^{n_k' \times m} \\ A^p_k = Att(P^{enc}, O_k^c; v_p) \in R^{m \times n_k'} \\ \hat{O}_k^p = [P^{enc}; O_k^cA_k^c]A_k^p \in R^{2d \times n_k'} \\ \tilde{O}_k^p = ReLU(W_p[O_k^c; \hat{O}_k^p] + b_p); \quad \tilde{O}_k^p \in R^{d \times n_k'}, W_p \in R^{d \times 3d}, b_p \in R^d$$
最后，对信息进行综合：
$$\tilde{O}_k^s = \tilde{O}_k^p Att(\tilde{O}_k^p, \tilde{O}_k^p; v_r) \\ \tilde{O}_k^f = [\tilde{O}_k^p; \tilde{O}_k^s; \tilde{O}^p_k - \tilde{O}_k^s; \tilde{O}_k^p \circ \tilde{O}_k^s] \\ O_k^f = ReLU(W_f\tilde{O}_k^f + b_f) \quad; W_f \in R^{d \times 4d}, b_f \in R^d$$

4. Answer Prediction

对于 Option $k$ ， 其最终信息表示如下：

$$s_k = v_s^T MaxPooling(O_k^f); \quad v_s \in R^d$$
那么，对于结果的预测为：
$$P(k | Q, P, O) = \frac{exp(s_k)}{\sum_iexp(s_i)}$$
损失函数定义为：
$$J(\theta) = -\frac{1}{N}\sum_i log(P(\hat{k}_i | Q_i, P_i, O_i)) + \lambda ||\theta||_2^2$$

3. Experiments

2. Training Details

Adam 优化器
epoch = 3 (base)
batch_size = 12 (base)
learning_rate = $3 \times 10^{-5}$ (base)

epoch = 5 (large)
batch_size = 24 (large)
learning_rate = $1.5 \times 10^{-5}$

L2 = 0.01

article token = 400
question tokens = 30
option = 16

3. Experiment results

• 作者认为模型在复杂推理上表现不佳
• 选项间的比较是有效的