Dual Co-Matching Network for Multi-choice Reading Comprehension

RACE

---

Abstract

本文提出DCNN。

2. Model

1. Embedding Layer

文章采用 Bert 作为 Encoder 来分别对P， Q， A 进行 Embedding， 就像是使用 LSTM 进行上下文Embedding一样：

$$H^p = BERT(P); \quad H^p \in R^{P \times l} \\ H^q = BERT(Q); \quad H^q \in R^{Q \times l}\\ H^a = BERT(A); \quad H^a \in R^{A \times l}$$
我们看到， 我们要分别采用6个 Bert 进行微调，这意味着对于该模型来说，显存一定是要足够大的，大致的推算一下，也是需要40G左右的显存的，这意味着至少需要 4 块以上的顶级显卡， 所以我说，NLP已经进入氪金时代。

2. Maching Layer

文章先采用注意力机制来获得 passage 与 answer 之间的注意力权重信息，然后再根据权重信息分别获得 passage， answer 的新的表示：

$$W = softmax(H^p(H^aG + b )^T) ; \quad G \in R^{l \times l}, b \in R^{A \times l}\\ M^p = WH^a , M^a = W^TH^p ; \quad W \in R^{P \times A}， M^p \in R^{P \times l}, M^a \in R^{A \times l}$$
然后我们将 passage，answer 信息融合来获得最终的表示：
$$S^p = F([M^a - H^a; M^a \cdot H^a]W_1 + b_1); \quad S^p \in R^{R \times l} \\ S^a = F([M^p - H^p; M^p \cdot H^p]W_2 + b_2); \quad S^a \in R^{A \times l}$$
采用相同的注意力机制来融合 passage 与 question 之间的信息：
$$W' = softmax(H^p(H^qG' + b' )^T) ; \quad G' \in R^{l \times l}, b' \in R^{Q \times l}\\ M'^p = W'H^q, M^q = W'^TH^p ; \quad W' \in R^{P \times Q}， M'^p \in R^{P \times l}, M^q \in R^{Q \times l} \\ S^{p'} = F([M^q - H^q; M^q \cdot H^q]W'_1 + b'_1); \quad S^{p'} \in R^{P \times l} \\ S^q = F([M'^p - H^p; M'^p \cdot H^p]W'_2 + b'_2); \quad S^q \in R^{Q \times l}$$

3. Aggregation Layer

为了获得最终的表示，文章对 S 的每行做最大池化操作

$$C^p = Pooling(S^p), C^a = Pooling(S^a) \\ C^{p'} = Pooling(S^{p'}), C^q = Pooling(S^q) \\ C = [C^p; C^a; C^{p'}; C^q]; \quad C^{?} \in R^l , C \in R^{4l}$$
对于每一个候选答案 $i$ , 它对应最终的表示为 $C_i$，损失函数如下：
$$L(A_i | P, Q) = - log \frac{exp(V^TC_i)}{\sum_{j=1}^{N} exp (V^T C_j)}; \quad V \in R^l$$