学习率预热(transformers.get_linear_schedule_with_warmaup)

最新推荐文章于 2025-03-02 16:33:56 发布

原创最新推荐文章于 2025-03-02 16:33:56 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #深度学习 #pytorch

pytorch 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了深度学习中一种重要的训练策略——学习率预热与线性衰减。预热阶段，学习率从0线性增加到初始设定值；之后通过`get_linear_schedule_with_warmup`函数创建调度器，使学习率线性降低到0。这种方法有助于模型在训练初期更好地收敛，并在后续训练中避免震荡。关键参数包括预热步骤数、总训练步骤数等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习率预热

在预热期间，学习率从0线性增加到优化器中的初始lr。
在预热阶段之后创建一个schedule，使其学习率从优化器中的初始lr线性降低到0

Parameters

optimizer (Optimizer) – 用于调度学习速率的优化器参数
num_warmup_steps (int) – 预热阶段的步骤数
num_training_steps (int) – 训练的总步骤数
last_epoch (int, optional, defaults to -1) – The index of the last epoch when resuming training.

Returns

torch.optim.lr_scheduler.LambdaLR with the appropriate schedule.

# training steps 的数量: [number of batches] x [number of epochs].
total_steps = len(train_dataloader) * epochs

# 设计 learning rate scheduler
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps = 50, 
                                            num_training_steps = total_steps)