pytorch基础(六)-优化器

An_ich

已于 2024-01-05 13:53:02 修改

阅读量489

点赞数 12

CC 4.0 BY-SA版权

分类专栏： pytorch基础文章标签： pytorch 人工智能 python 深度学习机器学习

于 2023-12-10 01:02:39 首次发布

本文链接：https://blog.csdn.net/weixin_62891098/article/details/134903042

pytorch基础专栏收录该内容

12 篇文章

订阅专栏

本文详细介绍了PyTorch中的优化器概念，包括SGD优化器的使用，如设置超参数、管理参数组、step()方法、梯度清零、添加新参数组以及保存和加载优化器状态。重点讲解了梯度下降过程中的关键变量如动量和学习率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基本属性

default：

优化器超参数

state：

优化器缓存

params_groups：

管理的参数组

_step_count：

记录更新参数（学习率调整中使用）

基本方法

step()

更新一次参数

weight = torch.randn((2, 2), requires_grad=True)
weight.grad = torch.ones((2, 2))

optimizer = optim.SGD([weight], lr=0.1)
print("weight before step:{}".format(weight.data))
optimizer.step()
print("weight after step:{}".format(weight.data))

zero_grad()

清空所有梯度

optimizer.step()

add_param_group()

    x_1 = optimizer.param_groups
    w2 = torch.randn((3, 3), requires_grad=True)

    optimizer.add_param_group({"params": w2, 'lr': 0.0001})
    x_2 = optimizer.param_groups

state_dict()

获取优化器当前的字典信息

optimizer = optim.SGD([weight], lr=0.1, momentum=0.9)
opt_state_dict = optimizer.state_dict()

#  ...梯度下降

torch.save(optimizer.state_dict(), os.path.join(BASE_DIR, "optimizer_state_dict.pkl"))

load_state_dict()

加载优化器信息

state_dict = torch.load(os.path.join(BASE_DIR, "optimizer_state_dict.pkl"))
optimizer.load_state_dict(state_dict)

state_dict before load state:
{'state': {}, 'param_groups': [{'lr': 0.1, 'momentum': 0.9, 'dampening': 0, 'weight_decay': 0, 'nesterov': False, 'maximize': False, 'foreach': None, 'differentiable': False, 'params': [0]}]}
state_dict after load state:
{'state': {0: {'momentum_buffer': tensor([[6.5132, 6.5132],
[6.5132, 6.5132]])}}, 'param_groups': [{'lr': 0.1, 'momentum': 0.9, 'dampening': 0, 'weight_decay': 0, 'nesterov': False, 'maximize': False, 'foreach': None, 'differentiable': False, 'params': [0]}]}