模板-warmup

最新推荐文章于 2025-05-20 00:00:00 发布

zxxsid

最新推荐文章于 2025-05-20 00:00:00 发布

阅读量215

点赞数

CC 4.0 BY-SA版权

分类专栏：模板

本文链接：https://blog.csdn.net/weixin_45875127/article/details/108521512

模板专栏收录该内容

4 篇文章

订阅专栏

为了防止模型训练过程中不收敛，可以在训练过程中进行warmup

from keras.callbacks import Callback
import keras.backend as K


class Evaluate(Callback):
    def __init__(self):
        self.F1 = []
        self.best = 0.
        self.passed = 0
        self.stage = 0

    def on_batch_begin(self, batch, logs=None):
        """
        第一个epoch用来warmup，不warmup有不收敛的可能。
        """
        if self.passed < self.params['steps']:
            lr = (self.passed + 1.) / self.params['steps'] * 1e-3
            K.set_value(self.model.optimizer.lr, lr)
            self.passed += 1

关注博主即可阅读全文