PyTorch学习系列(十)——如何在训练时固定一些层？

在PyTorch中，要冻结某层参数，即保持其权重在训练过程中不发生更新。这种操作通常在迁移学习或固定特定的层的场景下使用，以便保留已经学到的知识。 要冻结某层参数，可以通过以下步骤实现： 1. 首先，加载模型并查看模型的结构。通过打印模型就可以看到每一层的名称以及对应的索引。 2. 在训练之前，确定需要冻结的层。可以通过模型的参数名称或索引来定位到具体的层。 3. 使用`requires_grad_()`函数来冻结参数，将需要冻结的层的`requires_grad`属性设置为False。这样，在反向传播过程中，这些参数的梯度就不会进行更新了。 4. 在训练过程中，只对其他未冻结的层进行梯度更新。 下面是一个简单的示例代码，演示如何冻结某层参数： ```python import torch import torch.nn as nn # 加载模型并创建优化器 model = torchvision.models.resnet18(pretrained=True) optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # 查看模型结构 print(model) # 冻结某层参数 # 可以通过模型的named_parameters()函数获取每一层的名称和参数 # 这里以冻结ResNet的第4个卷积层参数为例 for name, param in model.named_parameters(): if 'layer4' in name: # 可根据具体需求来决定冻结哪些层 param.requires_grad_(False) # 训练过程 for inputs, labels in dataloader: outputs = model(inputs) loss = loss_func(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ``` 通过以上步骤，我们可以实现冻结某层参数的操作。这样，在训练过程中，被冻结的层的参数将不会更新，从而保持其固定的权重。