Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks

深度学习 QA

一、文章信息

作者

J Weston, A Bordes, S Chopra, AM Rush, B van Merriënboer, A Joulin, T Mikolov

单位

Facebook AI Research

关键词

Computer Science,Artificial Intelligence, Computation and Language,Statistics-Machine Learning

文章来源

arXiv 2015 (https://arxiv.org/abs/1502.05698)

二、文章内容

1. 解决问题

提出文本理解和推理的评价框架，给出20个评价任务。设计该框架更容易暴露算法缺点，这是为了帮助算法提升和新算法的设计。

2. 评价任务框架

一共有20个任务

3. 模型

3.1 模型改进

文中提出了三种扩展Memory Nerual Networks的方法：
1. Adaptive memories 使用可变的hops
2. N-grams 使用3-grams替换bag-of-words
3. Nonlinearity 使用激活函数为tanh的两层传统神经网络。

3.2 实验结果：

4. 资源

1. bAbI任务主页
   http://fb.ai/babi
2. bAbI任务生成代码
   https://github.com/facebook/bAbI-tasks

5.相关论文

1. Memory Networks (2014)
2. Long short-term memory (1997)

三、简评

这篇文章的目的在于介绍一个评价文本理解的任务框架（bAbI），提出这样的框架可以统一文本理解模型的评价标准，并且20个不同层次的任务的指标可以作为模型在不同方面的表现评价，更容易暴露模型的缺点。但是20个任务未必能够覆盖所有的方面，因此需要后续工作来对框架进行完善。