图解RNN\LSTM及参数分析

### 循环神经网络（RNN）工作原理及其图解 #### RNN 的基本概念 循环神经网络（Recurrent Neural Network, RNN）是一种专为处理序列数据设计的神经网络模型。与传统的前馈神经网络不同，RNN 具有内部状态记忆能力，能够捕捉时间序列中的依赖关系[^1]。 #### 工作机制 RNN 的核心特点是其隐藏层不仅接收当前时刻的输入 \(x_t\)，还接收来自上一时刻的状态 \(h_{t-1}\)。这种机制使得 RNN 能够利用先前的信息影响后续的预测结果。具体来说，在每一个时间步 \(t\) 中，RNN 执行如下操作： \[ h_t = \phi(W_x x_t + W_h h_{t-1} + b) \] 其中： - \(W_x\) 和 \(W_h\) 是权重矩阵， - \(b\) 是偏置向量， - \(\phi\) 表示激活函数（通常是非线性函数如 tanh 或 ReLU）[^3]。 通过这种方式，RNN 可以动态调整自身的参数并逐步积累上下文信息。 #### 图形化表示 以下是 RNN 的典型结构展示方式： 1. **折叠形式** 折叠形式展示了整个网络作为一个整体单元运行的情况。在这种视图中，可以看到单个节点接受多个时间步的数据作为输入。 2. **展开形式** 展开后的 RNN 显示了每个时间步的具体计算过程。假设有一个长度为 T 的序列，则可以将其分解成 T 个小模块依次执行运算。下面是一段 Python 实现代码片段模拟这一流程： ```python import numpy as np def rnn_cell_forward(xt, a_prev, parameters): Wax = parameters["Wax"] Waa = parameters["Waa"] ba = parameters["ba"] a_next = np.tanh(np.dot(Wax, xt) + np.dot(Waa, a_prev) + ba) return a_next # 初始化变量 np.random.seed(1) xt = np.random.randn(3, 10) # 输入特征维度为 3，样本数为 10 a_prev = np.zeros((5, 10)) # 隐藏层大小设为 5 parameters = { 'Wax': np.random.randn(5, 3), 'Waa': np.random.randn(5, 5), 'ba' : np.random.randn(5, 1)} a_next = rnn_cell_forward(xt, a_prev, parameters) print(a_next.shape) # 输出形状应为 (5, 10)，对应新的隐藏状态 ``` 上述代码定义了一个简单的 RNN 单元，并演示了如何从前一个隐藏状态和当前输入更新至下一个隐藏状态。 #### 应用场景与发展历程 虽然 RNN 提供了一种有效的方法来建模顺序型数据集，但由于梯度消失等问题的存在，原始版本可能难以训练深层架构。因此后来衍生出了改进版 LSTM(Long Short-Term Memory) 和 GRU(Gated Recurrent Unit)[^4] 来解决这些问题。 ---