RNN：Long Short-term Memory（中）

目录

1  LSTM 的简图

2  LSTM 的整体结构

2.1  结构图

2.2  流程图

3  举个例子

3.1  简单看看

3.2  代入 LSTM

4  Original Network v.s. LSTM

5  细看 LSTM

原视频：李宏毅 2020：Recurrent Neural Network (Part I)

1  LSTM 的简图

LSTM 实际上就是一种特殊的神经元，只是长得比较复杂罢了。可以看出，它就是在 memory 的基础上加了三个门：输入门（Input Gate）、遗忘门（Forget Gate）和输出门（Output Gate），四者关系如下图所示：

LSTM 三个门的作用：

• 输入门（Input Gate）：控制 LSTM 是否接收当前的输入
• 遗忘门（Forget Gate）：控制 LSTM 是否丢掉 memory 中的内容
• 输出门（Output Gate）：控制 LSTM 是否允许对处理结果进行输出

三个门的开或闭均由信号（signal）控制，这些信号均来自网络的其他部分。

LSTM 的特点是：

• 四个输入，图中用红线表示，输入均来自网络的其他部分
• 一个输出，图中用绿线表示，输出也将送往网络的其他部分

如何理解 Long Short-term Memory 这个名称？它的意思就是 Long 的 Short-term 的 Memory，即虽然长但毕竟还是短期的记忆。在 RNN 中，一旦计算出当前时刻隐层的输出，那么 memory 中的内容会立马被冲掉或者说是被替换掉。而在 LSTM 中，有了输入门（Input Gate）和遗忘门（Forget G