Three-way Attention and Relational Knowledge for Commonsense Machine Comprehension

squad-model

该模型是猿辅导在squad上， 取得了不错的成绩。
源码： https://github.com/intfloat/commonsense-rc

Abstract

我们使用Three-way Attentive Networks

Introduction

在本文中， 我们针对multiple-choice commonsense reading comprehension提出了Three-way Attentive
Networks(TriAN)

Model

该模型包含： Input layer， attention layer， 和 output layer

Input Layer

输入： passage: $\{P_i\}^{|P|}_{i=1}$, question: $\{Q_i\}^{|Q|}_{i=1}$, answer: $\{A_i}^{|A|}_{i=1}$, label : $y^\ast \in \{0, 1}$。
对于P， Q， A中的每个单词， 是以下几个变量的集合：

• Glove embedding : 预训练号的 300 维的Glove向量 $E_{P_i}^glove - Part-of-speech and named-entity embeddings. Randomly initialized 12-dimensional part-of-speech embedding$E_{P_i}^{pos}$and 8-dimensional named-entity embedding$E^{ner}_{P_i}
• Relation embeddings. Randomly initialized 10-dimensional relation embedding $E_{P_i}^{rel}$.