Memory networks

memory-networks

abstract

本文是memory networks领域的第一篇论文

Introduction

我们介绍了一类memory network模型， 这类模型企图解决长期记忆问题。

Memory networks

一个 Memory network 包含一个记忆 m 和四个组件 I， G， O， R。

• I： Input feature map: converts the incoming input to the internal feature representation.
• G: generalization: updates old memories given the new input. We call this generalization
  as there is an opportunity for the network to compress and generalize its memories at this
  stage for some intended future use.
• O: output feature map: produces a new output (in the feature representation space), given
  the new input and the current memory state.
• R: response: converts the output into the response format desired. For example, a textual
  response or an action.

简单来说，就是输入的文本经过Input模块编码成向量，然后将其作为Generalization模块的输入，该模块根据输入的向量对memory进行读写操作，即对记忆进行更新。然后Output模块会根据Question（也会进过Input模块进行编码）对memory的内容进行权重处理，将记忆按照与Question的相关程度进行组合得到输出向量，最终Response模块根据输出向量编码生成一个自然语言的答案出来。

给定一个输入x， 该模型的数据流如下：
1. 将x 转换为一个 internal feature representation I(x).
2. 根据新的输入更新memories $m_i$ ： $m_i = G(m_i, I(x), m), \qquad \forall i$
3. 通过新输入和记忆来计算output features o： $o = O(I(x),m)$
4. 最后，解码output features o 获得最终的答案： r = R(o)

总结

这篇论文主要是理解一下memory networks 的思路， 了解即可，不必深究。主要是没有相关代码实现。