RACE: Large-scale ReAding Comprehension Dataset From Examinations

数据集

2. Related Work

本节中， 我们队现存的阅读理解任务数据集做一个简单的对比。

2.1 MCTest

1. 数据量不足
2. MCTest针对的是7岁的孩子，而Race针对的是12-18岁的。

Race可以看做是MCTest的扩充版和难度版

Cloze-style datasets

CNN/Daily Mail
Childrens Book Test
Book Test
Who Did what

缺陷：简单， 且由于是自动生成， 噪音多。

span-based datasets

SQuAD, NewQA, MSMARCO, TriviaQA.
问题的答案是article中的一个 text span，SQuAD, NewQA, MSMARCO分别来自于Wiki， CNN news 和 theBingsearchengine。 答案可能是多个片段， 采用F1, BLEU以及ROUGE来走评价指标。

Span-based 数据集的难点在于可能的答案片段常常是比较大的， 然而，将答案限制为上下文的答案片段可能是不符合实际的， 与人类是不相符的。 换句话说， 这种类型的数据集可能并不能对机器的阅读理解能力进行一个很好的评测。

Datasets from examinations

有一些数据集从考试中提取，旨在模拟人类的评测。 如 the AI2 Elementary School Science Questions dataset， NTCIR QA Lab， CLEF QA Track。 然而， 这些task的数据对于深度学习来说并不充足。
RACE数据集是该类型的第一个大型数据集。

3. Data Analysis

本段中我们将详细介绍Race数据集的细节。

3.1 Dataset Statistics

RACE数据集从初中和高中的题集上采集， 因此，我采用RACE-M 来表示初中的数据， 用RACE-H表示高中的数据。 我们在 RACE-M 和 RACE-H分别采用5% 的数据来作为 dev set， %5作为 test set。

我们从上面两个图发现， RACE-H的 passage 和 vocabulary的长度是比 RACE-M的要长的， 而高年级的要比低年级的难很多。 然而， 需要注意的是，用来测试的文章的句子长度和复杂度其实是比新闻文章或wiki的文章要简单的。

3.2 Reasoning Types of the questions

我们将问题分为以下几种

• 单词匹配： 问题与文章中的某个片段相关， 答案是比较明显的。
• Paraphrasing： 问题从文章中的一句话解释引出，答案可直接从该句中提取。
• 单句推理： 答案可以从文章中的某一句话来推理得出。
• 多句推理： 答案需要综合多个句子的信息来推理得出。
• Insufficient/Ambiguous: 问题无法从给定的文章中得出或者答案不唯一。

3.3 Subdividing Reasoning Types

我们将问题根据推理分类为： detail reasoning（细节推理）， whole-picture understanding（文章全局理解）， passage summarization（文章总结）， attitude analysis（态度分析） 和 world knowledge（世界知识）。一个问题可能有多类。

• Detail reasoning: 模型需要清楚知道文章细节所表达的意思，而不仅仅只是需要简单匹配就行。
• Whole-picture ubderstanding : 模型需要理解文章所表达的全部信息才能获得答案。
• Passage summarization:模型需要分辨四个选项哪个能够准确表达文章的摘要。
• Attitude analysis: 对于作者观点和态度的分析
• World Knowledge： 外部常识

4. Collection Methodology

网站： xkw.com