Squad2.0: Know What You Don’t Know: Unanswerable Questions for SQuAD

数据集

Abstract

这篇论文介绍了Squad2 2.0,.
在原来的 SQuAD（SQuAD 1.1）的十万个问题 - 答案对的基础上，SQuAD 2.0 中新增了超过五万个新增的、由人类众包者对抗性地设计的无法回答的问题。执行 SQuAD 2.0 阅读理解任务的模型不仅要能够在问题可回答时给出答案，还要判断哪些问题是阅读文本中没有材料支持的，并拒绝回答这些问题。

1. Introduction

图示为两个无法回答的问题。红色标出的答案看似有理，但其实是错误的。

2. Desiderata

对于unanswerable questions而言，我们要求其具有以下特性：
1. Relevance： unanswerable questions 必须是与上下文相关的。
2. Existence of plausible answers: 对于错误答案而言，其答案内容也必须是相关的。

3. Existing datasets

3.1 Extractive datasets

Zero-shot Relation Extraction dataset (Levy et al.,2017)
TriviaQA (Joshi et al.,2017)

3.2 Answer sentence selection datasets

3.3 Multiple choice datasets

Squad 2.0