完整的模型训练

于 2024-05-12 14:47:18 发布
阅读量561 收藏
点赞数 16
CC 4.0 BY-SA版权
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XAX520_1314/article/details/138752625

1.准备数据集

1.1准备训练数据集和测试数据集并打印训练数据集长度

import torchvision

#准备数据集

#训练数据集
train_data = torchvision.datasets.CIFAR10(root="/data", train=True, transform=torchvision.transforms.ToTensor(),
                                          download=True)
#测试数据集
text_data = torchvision.datasets.CIFAR10(root="/data", train=False, transform=torchvision.transforms.ToTensor(),
                                          download=True)
#length长度
train_data_size = len(train_data)
text_data_size = len(text_data)
#如果train_data_size=10，训练数据集的长度为：10
print("训练数据集的长度为：{}",format(train_data_size))
print("训练数据集的长度为：{}",format(text_data_size))

运行结果：

2. 利用 DataLoader 来加载数据集

#利用 DataLoader 来加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
text_dataloader = DataLoader(text_data, batch_size=64)

 3.搭建神经网络

新建python文件，根据model结构搭建神经网络模型

import torch
from torch import nn

#搭建神经网络
class XAX(nn.Module):
    def __init__(self):
        super(XAX,self).__init__()
        self.model = nn.Sequential(
            #第一次卷积
            nn.Conv2d(3, 32, 5, 1, 2),
            #最大池化操作
            nn.MaxPool2d(2),
            # 第二次卷积
            nn.Conv2d(32, 32, 5, 1, 2),
            # 最大池化操作
            nn.MaxPool2d(2),
            # 第三次卷积
            nn.Conv2d(32, 64, 5, 1, 2),
            # 最大池化操作
            nn.MaxPool2d(2),
            #展平操作
            nn.Flatten(),
            #线性层操作
            nn.Linear(64*4*4, 64),
            nn.Linear(64, 10)
        )

    def forward(self, x):
        x = self.model(x)
        return x

if __name__ == '__main__':
    xax = XAX()
    input = torch.ones((64, 3, 32, 32))
    output = xax(input)
    print(output.shape)

 4.创建网络神经模型

#创建网络模型
xax = XAX()

#损失函数(交叉熵)
loss_fu = nn.CrossEntropyLoss()

#优化器（随机梯度下降）
learning_rate = 1e-2    # 1e-2 = 1*(10)^(-2) = 1/100 = 0.01
optimizer = torch.optim.SGD(xax.parameters(), lr=learning_rate)

#设置训练网络的一些参数
#记录训练的次数
total_train_step = 0
#记录测试的次数
total_text_step = 0
#训练的轮数
epoch = 10

for i in range(epoch):
    print("--------第{}轮训练开始--------".format(i+1))

运行演示： 

 5.训练步骤展示：

#设置训练网络的一些参数
#记录训练的次数
total_train_step = 0
#记录测试的次数
total_text_step = 0
#训练的轮数
epoch = 10

for i in range(epoch):
    print("--------第{}轮训练开始--------".format(i+1))

    #训练步骤开始
    for data in train_dataloader:
        imgs, targets = data
        outputs = xax(imgs)
        loss = loss_fu(outputs, targets)
        #优化器优化模型
        optimizer.zero_grad()       #梯度清零
        loss.backward()             #反向传播
        optimizer.step()            #对参数进行优化
        total_train_step = total_train_step + 1
        print("训练次数：{}, loss: {}".format(total_train_step, loss.item()))
    

    #测试步骤开始
    total_text_loss = 0
    with torch.no_grad():
        for data in text_dataloader:
            imgs, targets = data
            outputs = xax(imgs)
            loss = loss_fu(outputs, targets)
            total_text_loss = total_text_loss + loss.item()
    print("整体测试集上的loss：{}".format(total_text_loss))

 6.用Tensorboard图像实现

#设置训练网络的一些参数
#记录训练的次数
total_train_step = 0
#记录测试的次数
total_text_step = 0
#训练的轮数
epoch = 10

#添加Tensorboard
writer = SummaryWriter("/log_train")


for i in range(epoch):
    print("--------第{}轮训练开始--------".format(i+1))

    #训练步骤开始
    for data in train_dataloader:
        imgs, targets = data
        outputs = xax(imgs)
        loss = loss_fu(outputs, targets)
        #优化器优化模型
        optimizer.zero_grad()       #梯度清零
        loss.backward()             #反向传播
        optimizer.step()            #对参数进行优化

        total_train_step = total_train_step + 1
        print("训练次数：{}, loss: {}".format(total_train_step, loss.item()))

        writer.add_scalar("train_loss", loss.item(), total_train_step)


    #测试步骤开始
    total_text_loss = 0
    with torch.no_grad():
        for data in text_dataloader:
            imgs, targets = data
            outputs = xax(imgs)
            loss = loss_fu(outputs, targets)
            total_text_loss = total_text_loss + loss.item()
    print("整体测试集上的loss：{}".format(total_text_loss))

    writer.add_scalar("train_loss", total_text_loss, total_text_step)
    total_text_step = total_text_step + 1

writer.close()

 Tensorboard中图像呈下降趋势

 7.整体代码汇总

7.1.model.py

import torch
from torch import nn

#搭建神经网络
class XAX(nn.Module):
    def __init__(self):
        super(XAX,self).__init__()
        self.model = nn.Sequential(
            #第一次卷积
            nn.Conv2d(3, 32, 5, 1, 2),
            #最大池化操作
            nn.MaxPool2d(2),
            # 第二次卷积
            nn.Conv2d(32, 32, 5, 1, 2),
            # 最大池化操作
            nn.MaxPool2d(2),
            # 第三次卷积
            nn.Conv2d(32, 64, 5, 1, 2),
            # 最大池化操作
            nn.MaxPool2d(2),
            #展平操作
            nn.Flatten(),
            #线性层操作
            nn.Linear(64*4*4, 64),
            nn.Linear(64, 10)
        )

    def forward(self, x):
        x = self.model(x)
        return x

if __name__ == '__main__':
    xax = XAX()
    input = torch.ones((64, 3, 32, 32))
    output = xax(input)
    print(output.shape)

7.2.train.py

import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

from model import *

#准备数据集

#训练数据集
train_data = torchvision.datasets.CIFAR10(root="/data", train=True, transform=torchvision.transforms.ToTensor(),
                                          download=True)
#测试数据集
text_data = torchvision.datasets.CIFAR10(root="/data", train=False, transform=torchvision.transforms.ToTensor(),
                                          download=True)
#length求数据集长度
train_data_size = len(train_data)
text_data_size = len(text_data)
#如果train_data_size=10，训练数据集的长度为：10
print("训练数据集的长度为：{}".format(train_data_size))
print("训练数据集的长度为：{}".format(text_data_size))

#利用 DataLoader 来加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
text_dataloader = DataLoader(text_data, batch_size=64)

#搭建神经网络
#新建文件model.py

#创建网络模型
xax = XAX()

#损失函数(交叉熵)
loss_fu = nn.CrossEntropyLoss()

#优化器（随机梯度下降）
learning_rate = 1e-2    # 1e-2 = 1*(10)^(-2) = 1/100 = 0.01
optimizer = torch.optim.SGD(xax.parameters(), lr=learning_rate)

#设置训练网络的一些参数
#记录训练的次数
total_train_step = 0
#记录测试的次数
total_text_step = 0
#训练的轮数
epoch = 10

#添加Tensorboard
writer = SummaryWriter("logs_train")


for i in range(epoch):
    print("--------第{}轮训练开始--------".format(i+1))

    #训练步骤开始
    for data in train_dataloader:
        imgs, targets = data
        outputs = xax(imgs)
        loss = loss_fu(outputs, targets)
        #优化器优化模型
        optimizer.zero_grad()       #梯度清零
        loss.backward()             #反向传播
        optimizer.step()            #对参数进行优化

        total_train_step = total_train_step + 1
        print("训练次数：{}, loss: {}".format(total_train_step, loss.item()))

        writer.add_scalar("train_loss", loss.item(), total_train_step)


    #测试步骤开始
    total_text_loss = 0
    total_accuracy = 0

    with torch.no_grad():
        for data in text_dataloader:
            imgs, targets = data
            outputs = xax(imgs)
            loss = loss_fu(outputs, targets)
            total_text_loss = total_text_loss + loss.item()
            accuracy = (outputs.argmax(1) == targets).sum()
            total_accuracy = total_accuracy + accuracy


    print("整体测试集上的loss：{}".format(total_text_loss))
    print("整体测试集上的正确率：{}".format(total_accuracy/text_data_size))

    writer.add_scalar("text_loss", total_text_loss, total_text_step)
    writer.add_scalar("text_accuracy", total_accuracy/text_data_size, total_text_step)

    total_text_step = total_text_step + 1

    torch.save(xax, "xax_{}.pth".format(i))
    print("模型已保存")

writer.close()

XAX520_1314
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值