End-to-End Memory Networks

memory-networks

参考博客： https://zhuanlan.zhihu.com/p/29679742
参考源码： https://github.com/carpedm20/MemN2N-tensorflow

Abstract

数据集： Penn TreeBank， Text8
我们的模型在这两个数据集上取得的效果与RNN和LSTM接近。

Introduction

Approach

$x_1, \cdots, x_n$, q, a 均由V个单词的词典构成

single Layer

从上图可以看出，对于输入的句子s分别会使用A和C进行编码得到Input和Output的记忆模块，Input用来跟Question编码得到的向量相乘得到每句话跟q的相关性，Output则与该相关性进行加权求和得到输出向量。然后再加上q并传入最终的输出层。

模型主要参数包括四个矩阵：A, B, c, w .

• A, B, C三个矩阵是embedding矩阵(d × V) ，用于将输入文本， question编码成词向量。
• W是最终的输出矩阵

• Input memory representation:
  

  • 对于输入句子 $x_1, \cdots, x_i$， 将每个 $\{x_i\}$ 转化成d维的 memory vectors $\{m_i\}$。
  • query q也embedding成一个internal state $u$

  
  利用softmax计算每个memory与question的匹配度。
  $$p_i = Softmax(u^Tm_i)$$

• Output memory representation

  每个$x_i$ 都有对应的输出 vector $c_i$ . response vector
  

  $$o = \sum_i p_ic_i$$

• Generating the final prediction
  最终的预测标签是
  

  $$\hat{a} = Softmax(W(o + u))$$

Multiple Layers

• 每层的输入是 k层输出$o^k$ 与 k层输入$u^k$ 的和
  

  $$u^{k+1} = u^k + o^k$$

• 每一层有自己的 embedding 矩阵 $A^k, C^k$

• 在最顶层， 有：
  

  $$\hat{a} = Softmax(Wu^{\hat{K+1}}) = Softmax(W(o^K + u^K))$$

参数选择

对于模型中的参数选择， 论文提出了两种方法（主要是为了减少参数量，如果每层参数都不同的话会导致参数很多难以训练）。
1. Adjacent： $A^{k+1} = C^k$, 以及 ： $W^T = C^K$ , $B = A^1$
2. Layer-wise(RNN-like): 与rnn类似选用完全共享参数的方法： $A^1 = \cdots = A^K$, 以及 $C^1 = C^2 = \cdots, = C^K$ .由于这样会大大的减少参数量导致模型效果变差，所以提出一种改进方法, 令 $u^{k+1} = Hu^K + o^k$.