【Python机器学习】循环神经网络（RNN）——循环网络的记忆功能

文档中的词很少是完全独立的，它们的出现会影响文档中的其他词或者收到文档中其他词的影响：

The stolen car sped into the arena.

The clown car sped into the arena.

这两句话可能会产生两种完全不同的情感感受。这两个句子的形容词、名词、动词、介词短语结构式完全相同的，但位于句首的形容词极大地影响了读者的推断。

如果能有一种方式“记忆”之前时刻发生的事情（尤其是当t+1时刻时，t时刻发生的），我们就能捕获当序列中某些词条出现时，其他词条相对应会出现的模式。循环神经网络（RNN）使神经网络能够记住句子中出现过的词。

隐藏层中的单个循环神经元会增加一个循环回路使t时刻隐藏层的输出重新输入到隐藏层中。t时刻的输出会作为t+1时刻隐藏层的输出。而t+1时刻的输出接下来又会被作为t+2时刻的输入，以此类推。

尽管根据时间变化影响状态的思想一开始可能会让人感觉有些困惑，但其基本概念简单明了。对于传入一般前馈完了的每个输入，我们在t时刻得到的网络输入会作为网络的一个额外输入，与下一个t+1时刻的数据一起输入网络。这样，我们就可以告诉前馈网络之前发生了什么和“现在”正在发生什么。

在循环网络中，整个循环是由一个或多个神经元组成的前馈网络层。网络隐藏层的输出和普通输出一样，但它本身会和下一个时刻的正常输入数据一起作为输入回传进网络。这个反馈表示为从隐藏层的输出指向它的输入的箭头。

理解这个过程的更简单的方法是展开这个网络。下图从新的角度，展示了网络随时间变量（t）展开两次的图形，显示了t+1时刻和t+2时刻的网络层。

每个时刻由完全相同的神经网