线性回归的从零开始实现与pytorch实现（pycharm版本）

# -*- coding: UTF-8 -*- ''' @Author ：Douglas @Project ：deepLearning_try @File ：linear_fromZero.py @IDE ：PyCharm @Date ：2024/8/2 ''' import random import torch import matplotlib.pyplot as plt # 生成数据集 def generate_data(num_samples, w, b): # 随机生成自变量 x = torch.randn((num_samples, len(w))) # 生成不含噪声的 y y = torch.matmul(x, w) + b # 生成带有噪声的y y += torch.normal(0, 0.01, y.shape) print(y.shape) return x, y.reshape((-1, 1)) # 读取数据 def load_data(batch_size, features, labels): num_examples = len(features) indices = list(range(num_examples)) # 打乱索引顺序 random.shuffle(indices) # 每次都返回一个小批量样本 for i in range(0, num_examples, batch_size): batch_indices = torch.tensor( indices[i: min(i + batch_size, num_examples)]) yield features[batch_indices], labels[batch_indices] # 定义模型 def my_linear(x, w, b): # 线性模型 return torch.matmul(x, w) + b # 定义损失函数 def my_loss(y_hat, y): # 平方损失函数，y_hat为模型预测值 # 这里reshape是因为读取出来的y是行向量，而预测值为列向量 return (y_hat - y)**2 / 2 # 定义优化器 def my_optimizer(params, lr, batch_size): """小批量随机梯度下降""" with torch.no_grad(): # 以下操作不计算梯度 for param in params: param -= lr * param.grad / batch_size param.grad.zero_() num = 1000 # 生成的数据点个数 # 原模型的两个参数 w_true = torch.tensor([2, -3.4]) b_true = 4.2 # 设置随机种子，方便验证和复现 random_seed = 326 torch.manual_seed(random_seed) # 生成数据与输出 features, labels = generate_data(num, w_true, b_true) # 绘制数据点，看看长什么样 # 自变量有两个，只绘制一个自变量与y的关系 plt.scatter(features[:, 1], labels) plt.show() # 初始化参数 w = torch.normal(0, 0.01, size=(2, 1), requires_grad=True) b = torch.zeros(1, requires_grad=True) # 小批量的大小 batch_size = 10 # 学习率和训练轮数 lr = 0.03 num_epochs = 3 # 开始训练 for epoch in range(num_epochs): for x, y in load_data(batch_size, features, labels): l = my_loss(my_linear(x, w, b), y) # X和y的小批量损失 # 因为l形状是(batch_size,1)，而不是一个标量。 # l中的所有元素被加到一起，并以此计算关于[w,b]的梯度 l.sum().backward() my_optimizer([w, b], lr, batch_size) # 使用参数的梯度更新参数 with torch.no_grad(): train_l = my_loss(my_linear(features, w, b), labels) # 打印出每轮训练的损失 print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}') # 评估训练效果 print(f'w的估计误差: {w_true - w.reshape(w_true.shape)}') print(f'b的估计误差: {b_true - b}')