PyTorch:一个简单的RNN模型训练（含对RNN的讲解以及代码）

原创 已于 2025-05-22 11:37:26 修改 · 1.1k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #rnn #人工智能

于 2025-05-22 11:35:21 首次发布

一、简介

循环神经网络（Recurrent Neural Networks, RNN）是一类神经网络架构，专门用于处理序列数据，RNN具有"记忆"能力，能够捕捉时间序列或有序数据的动态信息，能够处理序列数据，如文本、时间序列或音频。

RNN 在自然语言处理（NLP）、语音识别、时间序列预测等任务中有着广泛的应用。

RNN 的关键特性是其能够保持隐状态（hidden state），使得网络能够记住先前时间步的信息，这对于处理序列数据至关重要。

二、RNN的基本结构

本图是取自B站耿直哥
通俗来讲，CNN就比前馈神经网络多了时间上的维度

在这里插入图片描述

参考：B站耿直哥

1. 核心组件

RNN由以下几个核心组件构成：

  • 输入层 ：接收当前时间步的输入数据
  • 隐藏层 ：包含循环连接，保存历史信息
  • 输出层 ：产生预测结果
  • 隐藏状态 ：作为"记忆"，将信息从一个时间步传递到下一个时间步

2. 数学表示

RNN的基本计算可以表示为：

h_t = tanh(W_xh * x_t + W_hh * h_{t-1} + b_h)
y_t = W_hy * h_t + b_y

其中：

  • h_t ：当前时间步的隐藏状态
  • x_t ：当前时间步的输入
  • h_{t-1} ：前一时间步的隐藏状态
  • y_t ：当前时间步的输出
  • W_xh ：输入到隐藏层的权重矩阵
  • W_hh ：隐藏层到隐藏层的权重矩阵（循环连接）
  • W_hy ：隐藏层到输出层的权重矩阵
  • b_h 和 b_y ：偏置项

3. 循环结构

RNN的关键特点是其循环结构：

  • 每个时间步使用相同的权重矩阵
  • 隐藏状态在时间步之间传递
  • 可以处理任意长度的序列

三、RNN的工作流程

  1. 初始化 ：设置初始隐藏状态（通常为零向量）
  2. 前向传播 ：
    • 接收当前时间步的输入
    • 结合前一时间步的隐藏状态计算当前隐藏状态
    • 基于当前隐藏状态计算输出
  3. 重复 ：对序列中的每个元素重复上述过程
  4. 反向传播 ：使用称为"通过时间的反向传播"（BPTT）的算法进行训练

四、RNN的类型

1. 基本RNN（Vanilla RNN）

就是我们上面描述的最简单形式，存在梯度消失/爆炸问题，难以捕获长期依赖关系。

2. LSTM（长短期记忆网络）

通过引入门控机制（输入门、遗忘门、输出门）和单元状态来解决基本RNN的问题：

  • 遗忘门：决定丢弃哪些信息
  • 输入门：决定存储哪些新信息
  • 输出门：决定输出哪些信息

3. GRU（门控循环单元）

LSTM的简化版本，只有两个门（更新门和重置门），参数更少但效果通常相当。

五、RNN的优缺点

优点

  • 能够处理变长序列数据
  • 参数共享（在所有时间步使用相同的权重）
  • 能够捕获序列中的时间依赖关系

缺点

  • 基本RNN存在梯度消失/爆炸问题
  • 难以捕获长期依赖关系（可能只能记住十步以内）
  • 计算效率较低（难以并行化）

六、PyTorch代码（详细注释）

import torch  # PyTorch深度学习框架
import torch.nn as nn  # 神经网络模块
import torch.optim as optim  # 优化器
import numpy as np  # 数值计算库

# 1. 数据准备和预处理
# 数据集：字符序列预测（Hello -> Elloh）
# 定义字符集，这里只包含"hello"中的字符，注意有重复字符只保留一次
char_set = list("hello")  # 结果为['h', 'e', 'l', 'o']，'l'只保留一个

# 创建字符到索引的映射字典，enumerate返回索引和值的元组
char_to_idx = {
   
   c: i for i, c in enumerate
最低0.47元/天 解锁文章

200万优质内容无限畅学
AI人工智能和PyTorch：构建语音合成模型
AI天才研究院
05-03 1181
语音合成(Text-to-Speech, TTS)技术是人工智能领域的重要研究方向，它能够将文本信息转换为自然流畅的语音输出。系统性地介绍语音合成的核心技术和原理详细讲解如何使用PyTorch实现主流的语音合成模型提供完整的代码实现和优化技巧分析语音合成技术在实际应用中的挑战和解决方案本文涵盖的范围包括语音合成的基本流程、声学模型、声码器技术、PyTorch实现细节以及性能优化等方面。背景介绍：语音合成技术概述和本文组织结构核心概念：语音合成的关键组件和技术路线。
PyTorch 循环神经网络（RNN）
qq_25502783的博客
04-11 1109
循环神经网络（Recurrent Neural Networks, RNN）是一类神经网络架构，专门用于处理序列数据，能够捕捉时间序列或有序数据的动态信息，能够处理序列数据，如文本、时间序列或音频。RNN 在自然语言处理（NLP）、语音识别、时间序列预测等任务中有着广泛的应用。RNN 的关键特性是其能够保持隐状态（hidden state），使得网络能够记住先前时间步的信息，这对于处理序列数据至关重要。
RNN 的训练
nezha92的博客
05-13 933
RNN 的训练针对那些使用(Tensorflow, Torch, Caffe..) 开源库来组建 RNN 已经非常娴熟的朋友们，大家都是搞基术的，没有手刻过源代码，剖析过训练算术公式，都不好意思和同僚们打招呼不是？那这篇Blog 就是专为那些已经会 forward-pass , backward-pass, 和 SGD 但不太理解 BPTT 的朋友准备的。注意： 在本文中所有 RNN 均指代 Van
PyTorch RNN实战：快速上手教程
最新发布
keny-大成的博客
06-25 848
本文介绍了使用PyTorch实现RNN模型的完整流程。首先阐述了RNN的基本结构（输入层、隐藏层、输出层）及其工作原理，通过数学公式说明序列信息传递机制。然后提供了详细的实现代码，包括：1）数据准备阶段生成正弦波序列数据；2）构建SimpleRNN模型类；3）训练过程使用MSE损失和Adam优化器；4）预测评估及可视化。文章还对比了基础RNN与改进方案（如LSTM、Dropout等），并给出了序列分类任务的具体实现示例。代码包含从数据预处理到模型评估的完整流程，适合作为RNN入门的实践参考。
lecture7-序列模型及递归神经网络RNN
weixin_33697898的博客
11-15 829
Hinton 第七课 。这里先说下RNN有recurrent neural network 和 recursive neural network两种，是不一样的，前者指的是一种人工神经网络，后者指的是一种深度神经网络这里指的是前者，这部分翻译的不好，因为之前没怎么接触过RNN，不过就当理解意境吧，所以附上所有的ｐｐｔ，看得懂的就看PPt,下面的是附带说明，有些语句没有那么通顺，所以就当意境...
RNN训练详解，通俗易懂
热门推荐
cuipanguo的博客
08-28 1万+
Xt代表输入序列中的第t步元素，例如语句中的一个汉字。一般使用一个one-hot向量来表示，向量的长度是训练所用的汉字的总数（或称之为字典大小），而唯一为1的向量元素代表当前的汉字。 St代表第t步的隐藏状态，其计算公式为St=tanh(U*Xt+W*St-1)。也就是说，当前的隐藏状态由前一个状态和当前输入计算得到。考虑每一步隐藏状态的定义，可以把St视为一块内存，它保存了之前...
RNN模型的训练和推理以及成员推理攻击的实现
hepucuncao的博客
12-10 833
循环神经网络(RNNs)是神经网络中一个大家族，它们主要用于文本、信号等序列相关的数据。不同于传统的FNNs(Feed-forward Neural Networks，前向反馈神经网络)，RNNs引入了定向循环，能够处理那些输入之间前后关联的问题。RNNs的目的是用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的，但是这种普通的神经网络对于很多问题却无能无力。
循环神经网络（RNN、RNN变体、RNN训练方法：BPTT）
qq_22169787的博客
08-28 5824
参考和摘录以下博客，对作者的贡献表示感谢，欢迎参考以下文章！ https://blog.csdn.net/qq_39422642/article/details/78676567 https://zhuanlan.zhihu.com/p/28054589 https://blog.csdn.net/qq_16234613/article/details/79476763 http://www....
Pytorch 小记 第十一回：RNN循环神经网络模型代码
zhuwenlong130130的博客
03-24 1732
本次小记，提供了一份基于pytorch的RNN循环神经网络模型的代码。代码是基于RNN模型来完成对股票收盘价格的预测。除此之外，对代码中不容易理解的部分进行了讲解。 本代码的平台是PyCharm 2024.1.3，python版本3.11 numpy版本是1.26.4，pytorch版本2.0.0，d2l的版本是1.0.3
Pytorch-pytorch深度学习教程之RNN语言模型.zip
05-22
在压缩包中的教程可能详细讲解了这些步骤，包括代码示例和解释，帮助初学者理解如何在PyTorch中实现和训练RNN语言模型。对于希望在自然语言处理领域使用深度学习的人来说，这是一份非常有价值的资源。通过实践这些...
PyTorch：循环神经网络与序列数据处理技术解析与实现
10-24
接着，文章提供了构建和训练RNN模型的具体步骤，并演示了如何进行序列生成和预测。最后，讨论了RNN的局限性，并介绍了Transformer模型作为替代方案的优势和应用场景。 适合人群：具备基本Python和PyTorch知识的研究...
RNN训练文本
luoshiyong123的博客
09-09 624
本文通过RNN学习hello->ohlol的规律 1.处理字符 因为字符不是数字，无法变成向量输入，所以必须将字符变成数字，这里用到了one-hot vector 通过将字符变成对应的索引，然后将索引变成one-hot vector,将其作为RNN的输入,这里因为只有4个字母，所以输入维度为4 这里要求第一个输出为0，第二个为h,第三个为l,所以这是一个多分类的问题，需要输出一个四维向量，每一维度表示为某个字母的概率 这样我们的每一个输入Xi就是one-hot vector...
训练RNN
Major_S的博客
04-08 391
训练RNN
深度学习 - RNN训练过程推演
weixin_47552266的博客
06-13 1479
在每个时间步中，隐藏状态hth_tht​是由当前输入xtx_txt​和前一个时间步的隐藏状态ht−1h_{t-1}ht−1​共同决定的，并且这些更新后的隐藏状态会在接下来的时间步中使用。这就保证了 RNN 能够捕捉和记住序列信息，并在整个序列训练过程中逐步优化权重。
RNN 训练算法 —— 前篇
颹蕭蕭
10-23 1235
文章目录问题描述符号约定主要推导 问题描述 考虑模型循环网络模型： x(k)=f[Wx(k−1)](1) x(k) = f[Wx(k-1)] \tag1{} x(k)=f[Wx(k−1)](1) 其中 x(k)∈RNx(k) \in R^Nx(k)∈RN表示网络节点状态，W∈RN×NW\in R^{N\times N}W∈RN×N表示网络结点之间相互连接的权重，网络的输出节点为 {xi(k)∣i∈O}\{x_i(k)| i\in O\}{xi​(k)∣i∈O}，OOO为所有输出（或称“观测”）单元的下标集
RNN语言模型的训练策略与技巧
AI天才研究院
01-08 1102
1.背景介绍 自从2011年的“深度学习”发明以来，人工智能技术已经取得了巨大的进展。在自然语言处理(NLP)领域，语言模型(Language Model)是一个非常重要的技术，它可以预测下一个词语，从而实现自然语言的生成和理解。在这方面，递归神经网络(Recurrent Neural Network，RNN)是一种非常有效的技术，它可以处理序列数据，如文本、音频和视频。 在本文中，我们将讨论...
RNN-T Training，RNN-T模型训练详解——语音信号处理学习（三）（选修三）
m0_56942491的博客
11-29 2001
我们看下面这张表。在解码部分，LAS 和 RNN-T 会考虑前面的时序对当前时序的影响。而 CTC 并不会考虑之前的时间步已经生成出来的token。所以 LAS 和 RNN-T 在解码部分是相对比较强的。在对齐部分，CTC 和 RNN-T 都是需要考虑对齐的。而因为中间的注意力层，LAS不用显式地考虑对齐，而是采用 soft alignment，使用注意力机制来找出语音和文字之间的关系。在训练部分，LAS 只需要直接训练就行，而 CTC 和 RNN-T 则需要将所有的对齐方式概率相加，比较麻烦。
AI学习指南深度学习篇-循环神经网络的训练
俞兆鹏的博客
08-26 1414
初始化隐藏状态# 遍历时间步# 更新隐藏状态# 计算输出# 计算损失函数# 初始化梯度# 反向传播dby += dy本文介绍了RNN的训练过程，包括梯度传播和反向传播算法在时间序列上的应用，以及如何通过反向传播算法更新RNN的参数。我们通过一个简单的示例演示了如何训练一个基础的RNN模型。希望本文能帮助读者更好地理解RNN的训练过程，并在实际应用中取得更好的效果。
rnn股价预测 代码
01-03
### 使用RNN进行股价预测的Python代码示例 为了展示如何使用循环神经网络（RNN）来进行股价预测，下面是一个基于Keras框架构建并训练RNN模型的例子。此例子涵盖了数据准备、模型搭建以及可视化部分。 #### 数据预处理 首先加载所需库，并准备好输入的数据集： ```python import numpy as np from sklearn.preprocessing import MinMaxScaler from keras.models import Sequential from keras.layers import Dense, SimpleRNN from tensorflow.keras.optimizers import Adam import pandas_datareader.data as web import datetime import matplotlib.pyplot as plt ``` 接着获取股票价格的历史记录作为训练样本，并对其进行标准化处理以便于后续计算： ```python start = datetime.datetime(2012, 1, 1) end = datetime.datetime.now() df = web.DataReader("AAPL", 'yahoo', start=start, end=end) scaler = MinMaxScaler(feature_range=(0, 1)) scaled_data = scaler.fit_transform(df['Close'].values.reshape(-1, 1)) training_size=int(len(scaled_data)*0.75) test_size=len(scaled_data)-training_size train_data,test_data=scaled_data[0:training_size,:],scaled_data[training_size:len(scaled_data),:] ``` 创建适合喂给RNN模型的形式化的X和y数组： ```python def create_dataset(dataset, time_step=1): dataX, dataY = [], [] for i in range(len(dataset)-time_step-1): a = dataset[i:(i+time_step), 0] dataX.append(a) dataY.append(dataset[i + time_step, 0]) return np.array(dataX), np.array(dataY) time_step = 100 X_train, y_train = create_dataset(train_data, time_step) X_test, y_test = create_dataset(test_data, time_step) # Reshape input to be [samples, time steps, features] which is required for RNN X_train = X_train.reshape(X_train.shape[0], X_train.shape[1], 1) X_test = X_test.reshape(X_test.shape[0], X_test.shape[1], 1) ``` #### 构建与编译RNN模型 定义简单的单层SimpleRNN架构，并配置优化器参数： ```python model = Sequential() model.add(SimpleRNN(units=50, activation='relu', return_sequences=True, input_shape=(time_step, 1))) model.add(Dense(1)) optimizer = Adam(lr=0.01) model.compile(loss="mean_squared_error", optimizer=optimizer) ``` #### 训练过程 设置批量大小(batch size) 和迭代次数(epoch)，启动训练流程： ```python history = model.fit(X_train, y_train, validation_split=0.2, epochs=20, batch_size=64, verbose=1) ``` #### 结果评估与绘图 完成训练之后，可以通过测试集中的一部分数据来检验模型的表现；最后画出实际收盘价同预测值之间的对比图表： ```python train_predict=model.predict(X_train) test_predict=model.predict(X_test) # Inverse transform predictions and actual values back to original scale train_predict=scaler.inverse_transform(train_predict) test_predict=scaler.inverse_transform(test_predict) original_ytrain=scaler.inver
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值