@songying
2018-12-27T17:22:44.000000Z
字数 1658
阅读 2067
CoQA: A Conversational Question Answering Challenge
数据集
Abstract
我们提出了COQA数据集 - 一个面向Conversational Question Answering systems. 我们的数据集包含127k的问题-答案对，来自7个领域。问题是conversational， 答案是free-form text。我们深入分析了CoQA，该数据集在指代关系与语义推理上有很大的挑战性。
排行榜： https://stanfordnlp.github.io/coqa/
Introduction
在CoQA中，计算机必须先理解问这样，然后回答一系列对话问题。CoQA主要关注于三个方面：
- 第一，就是人类对话中问题的本质意义。在上图中展示了两个人阅读文章的情况，其中一个人扮演questioner，另一个人扮演answerer， 在该对话中，第一个问题以后的问题都依赖于之前的对话历史。比如上图中的
Q5，问题中仅仅有一个单词，这种简短的问题对人类来说是很容易的，但是对机器来说却很难。目前来说，还没有大型的阅读理解数据集能够像CoQA一样，下一个问题需要依靠以前问答历史。 - CoQA的第二个目的是确保对话中答案的natural。许多现有的QA数据集将答案限制在给定文章的某一段连续片段中，即使一种提取式的数据集，这样的答案斌班干部总是natural的。在CoQA中，我们提议，答案可以使free-form text，而提取的片段作为生产答案的基础。
- CoQA的第三个目标是确保构建跨领域，鲁棒性良好的QA 系统。当前的QA 数据集主要专注于特定领域，这使得很难测试现有模型的泛化能力。因此我们从7个领域手机数据： children’s stories, literature, middle and high school English exams, news, Wikipedia, science and Reddit.
总的来说，CoQA有以下几个河西特征：
- 它由127k个会话轮，从8k个文本会话转换而来(大约每篇文章一个会话)。平均conversation length是15轮，每轮由一个问题和一个答案组成。
- 答案是free-form的。每个答案都是由文章提取到的答案为基础生成的。
- 文章从7个不同领域收集。
几乎一半的CoQA问题都是通过coreferences来回顾会话历史的，其中很大一部分问题需要进行语义推理，这对于仅依赖于词汇线索的模型来说是一个挑战。
2. Task Definition
给定一篇文章和一段对话，任务是回答对话中的下一个问题。对话中的每一轮都包含一个问题和一个答案。
为了回答 , 这需要依靠对话历史：。
3. Data collection
4. Dataset Analysis
本节回答以下三个问题:
- What makes the CoQA dataset conversational compared to existing reading comprehension datasets like SQuAD?
- How does the conversation flow from one turn to the other?
- What linguistic phenomena do the questions in CoQA exhibit?
