机器学习笔记——循环神经网络

循环神经网络RNN

多层感知机MLP是最为基础的，可以模拟线性变换，复杂度低，训练简单，适用范围广
而卷积神经网络CNN可以提取不太尺度的关联信息，有助于图像特征提取
循环神经网络适合数据序列大，有一定前后关联的数据特征

GRU

循环神经网络可能出现梯度消失或者梯度爆炸，解决方法之一就是GRU门控循环单元来控制当前和过去时刻直接的关系
有一个更新单元和重置单元
重置单元可以选择的遗忘，就是将有些维度等于0，消除了过去的信息，用来选择旧信息的保留比例
更新单元就是来选择应该倾向于旧的信息还是新的输入x，接近1则保留旧的信息忽略新输入信息，接近0就是选择让新信息和旧信息混合，可以用来选择控制旧信息和新信息直接的比例

import numpy as np
import matplotlib.pyplot as plt
from tqdm import tqdm
import torch
import torch.nn as nn
#%%
data=np.loadtxt('./data/sindata_1000.csv',delimiter=',')
num_data=len(data)
split=int(num_data*0.8)
print(split)
plt.figure
#np.arange(7)就是0 1 2 ...7
plt.scatter(np.arange(split),data[:split],color='blue',s=10,label='training')
plt.scatter(np.arange(split, num_data), data[split:], color='none',
    edgecolor='orange', s=10, label='test set')
plt.xlabel('X axis')
plt.ylabel('Y axis')
plt.legend()
plt.show()
#%%
# 分割数据集
train_data = np.array(data[:split])
test_data = np.array(data[split:])
# 输入序列长度
seq_len = 20
# 处理训练数据，把切分序列后多余的部分去掉 //取整数
train_num = len(train_data) // (seq_len + 1) * (seq_len + 1)
train_data = np.array(train_data[:train_num]).reshape(-1, seq_len + 1, 1)
np.random.seed(0)
torch.manual_seed(0)

x_train = train_data[:, :seq_len] # 形状为(num_data, seq_len, input_size)
y_train = train_data[:, 1: seq_len + 1]
print(f'训练序列数：{len(x_train)}')

# 转为PyTorch张量
x_train = torch.from_numpy(x_train).to(torch.float32)
y_train = torch.