深度学习基础篇之循环神经网络（RNN）

前面我们讲了DNN，以及DNN的特例CNN的模型及其前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联。今天我们就讨论另一类模型间有反馈的神经网络：循环神经网络（Recurrent Neural Networks，以下简称RNN），它广泛的用于自然语言处理中的语音识别、手写识别及机器翻译等。

1、RNN概述

在前面的DNN和CNN中，训练样本的输入和输出是比较确定的。但是有一类问题DNN和CNN不好解决，就是训练样本输入是连续的序列，且序列的长短不一，比如基于时间的序列：一段段连续的语音、一段段长短不一的手写文字。这些序列比较长，而且长度不一，比较难直接的拆分一个个独立的样本来通过DNN/CNN进行训练。

对于这类问题，RNN会比较擅长。那么RNN是怎么做到的呢？RNN假设我们的样本是基于序列的，比如是从序列索引$1$到序列索引$n$的。对于这其中的任意序列索引号$t$，它对应的输入是样本序列中的$x^{(t)}$。模型在序列索引$t$位置的隐藏状态$h^{(t)}$，由$x^{(t)}$和在$t-1$位置的隐藏状态$h^{(t-1)}$共同决定。在任意序列索引号$t$，我们对应的模型输出是$o^{(t)}$。通过预测输出$o^{(t)}$和训练序列真实输出$y^{(}$