PyTorch入门实战教程笔记（二十四）：卷积神经网络实现 2

最新推荐文章于 2025-04-14 00:05:03 发布

原创

最新推荐文章于 2025-04-14 00:05:03 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #深度学习 #pytorch #cifar10实战 #resnet18实战

PyTorch入门实战教程笔记（二十四）：卷积神经网络实现 2：ResNet实现CIFAR10

CIFAR10数据集介绍

关于CIFAR-10数据集，可以访问它的官网进行下载：
http://www.cs.toronto.edu/~kriz/cifar.html。
CIFAR包含常见的10类物体的照片，照片的size 为32×32，每一类照片有6000张，所以一共6万张照片，我们把6万张照片随机选出5万张照片作为training，剩余的1万张作为test.
在这里插入图片描述

CIFAR10代码实战准备

数据集的加载与使用，加载数据要用到的函数类：DataLoader、datasets、transforms，从对应的包中导入。过iter方法把DataLoader迭代器先得到，使用迭代器.next()方法得到一个batch，来验证数据的shape和label的shape，得到最终结果：x: torch.Size([32, 3, 32, 32]) label: torch.Size([32])。详细代码：

import  torch
from    torch.utils.data import DataLoader
from    torchvision import datasets
from    torchvision import transforms

def main():
    batchsz = 32

    #当前目录下新建文件夹'cifar'，train = True，transform对数据进行变换，download=True自动下载数据集
    cifar_train = datasets.CIFAR10('cifar', True, transform=transforms.Compose([
        transforms.Resize((32, 32)),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                             std=[0.229, 0.224, 0.225])
    ]), download=True)
    #DataLoader方便一次加载多个，第一个参数为数据集cifar_train，第二个参数batch_size为每次批处理数量，
    #根据显卡设置batch_size，不要太小。第三个参数shuffle为打乱，设置成True。
    cifar_train = DataLoader(cifar_train, batch_size=batchsz, shuffle=True)

    cifar_test = datasets.CIFAR10('cifar', False, transform=transforms.Compose([
        transforms.Resize((32, 32)),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                             std=[0.229, 0.224, 0.225])
    ]), download=True)
    cifar_test = DataLoader(cifar_test, batch_size=batchsz, shuffle=True)

    #通过iter方法把DataLoader迭代器先得到，使用迭代器.next()方法得到一个batch。
    x, label = iter(cifar_train).next()
    print('x:', x.shape, 'label:', label.shape)

if __name__ == '__main__':
    main()

新建一个类resnet，所有的pytorch的神经结构类都要继承自nn.Module这个类，使用from torch import nn，将其导入。新建类的初始化方法，调用super(ResBlk, self).init()，调用类的初始化方法类初始化父类。我们前面已经说了，最关键是resnet的基本单元，接下来参考下图来写这个基本单元。

根据上图，我们应该这个单元块的输入，输出，所以定义函数传入参数：def init(self, ch_in, ch_out, stride=1)，
然后通过super(ResBlk, self).init()初始化，使用nn.Conv2d()建立self.conv1层，通过nn.BatchNorm2d实现一个BN层bn1，把数据分布缩放到一定的范围，有利于训练。接着同样构造conv2, bn2。同样道理，新建一个forward()函数，通过F.relu(self.bn1(self.conv1(x)))实现relu。接下来考虑shotcut，有一个问题，如果ch_in和ch_out一样的话，能够直接相加，如果不一样，就需要输入再加一个单元，将ch_in扩展成和ch_out一样。所以我们要有一个if的判断，判断如果不一样，通过self.extra = nn.Sequential()将其扩展为一样的。同时在forward中使用out = self.extra(x) + out。
此外，随着网络深度的加深，如果stride一直为1，由于padding的存在，会使图片的大小一直不变，所以我们在初始化时，应该设置一下stride参数，并使ResBlk的conv1的stride可以调节，同样，也要调节输入的图片的stride，即nn.Sequential()里面的stride。基本单元模块实现代码如下：

import  torch
from    torch import  nn
from    torch.nn import functional as F

class ResBlk(nn.Module):
    """
    resnet block
    """
    def __init__(self, ch_in, ch_out, stride=1):
        """
        :param ch_in:
        :param ch_out:
        """
        super(ResBlk, self).__init__()
        # we add stride support for resbok, which is distinct from tutorials.
        self.conv1 = nn.Conv2d(ch_in, ch_out, kernel_size=3, stride=stride, padding=1)
        self.bn1 = nn.BatchNorm2d(ch_out)
        self.conv2 = nn.Conv2d(ch_out, ch_out, kernel_size=3, stride=1, padding=1)
        self.bn2 = nn.BatchNorm2d(ch_out)

        self.extra = nn.Sequential(