12、自然语言处理中记忆网络的应用与数据处理

自然语言处理中记忆网络的应用与数据处理

1. 记忆网络在NLP中的概述

记忆网络为自然语言处理（NLP）提供了有趣的视角。近期研究表明，大多数NLP问题都可以转化为问答形式。在问答任务中，记忆网络取得了不错的效果，接下来我们将把记忆网络应用到其他一系列著名的顺序NLP问题上，看看效果如何。

对于我们使用的数据，强监督记忆网络只需付出很少的努力就能轻松产生高于基线的结果。半监督记忆网络在很多情况下能产生更好的准确率，但并非始终如此。

2. 记忆的相关概念

人类的记忆可以分为陈述性记忆和程序性记忆。美国神经科学家Larry Squire假设，人类将经验（概念、事实、事件）存储在一种异质类型的记忆中，即陈述性记忆，而程序性记忆则存储技能或行为模式（如骑自行车时的肌肉记忆）。

认知神经科学家Endel Tulving认为，程序性记忆由语义成分和情景成分组成。语义记忆用于存储通用的、更抽象的概念信息，例如关于猫的原型信息；情景记忆则存储与概念相关的特定记忆和个人经历（事实、事件、时间戳），比如你最后一次抚摸猫的记忆。

3. 用于顺序NLP的记忆网络

情景记忆的一般概念与我们在第5章记忆网络中实现的记忆最为接近。我们处理特定“事件”的描述（我们称之为“事实”），并将它们组合成“故事”。记忆网络的问答机制实现了一种记忆访问或检索的形式：记忆网络通过询问记忆中相关的事实，对存储的事实进行分析。

第5章的端到端记忆网络在处理过程中应用了一种监督注意力机制。在训练时，当面对一个故事、一个问题和一个答案时，它们学会关注故事中包含问题答案的信息部分。这些信息部分在训练数据中是明确指定的。