Pytorch Lightning 训练更新次数

_less is more

已于 2023-07-08 13:23:38 修改

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：计算机科学与技术文章标签： pytorch 人工智能 python

于 2023-07-08 13:08:33 首次发布

本文链接：https://blog.csdn.net/weixin_42815846/article/details/131610692

假设一共1000个samples，batch size=4，因此一个epoch会有250 iterations，也就是会更新250次

当设置Trainer时

trainer = pl.Trainer(gpus=1, precision=32, callbacks=[logger], max_steps=40, accumulate_grad_batches=2)

这个max_steps指的是最多更新的次数，这里也就是40次

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

_less is more

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Dataset和DataLoader；pytorch-lightning、pytorch训练代码大概流程

weixin_42357472的博客

12-04

3916

1、Dataset和DataLoader 1）Dataset类，构建数据，需要重写__len__和__getitem__这两个函数 2）DataLoader，迭代器，加载Dataset数据把分batch用作模型输入 import torch import torch.utils.data.dataset as Dataset #引入DataLoader： import torch.utils.data.dataloader as DataLoader import numpy as np Data =

如何大幅加速 PyTorch 模型训练

最新发布

人工智能领域专家

07-18

687

3. 优化 DataLoader 速度训练深度学习模型有时就像看着油漆慢慢变干。迭代过程可能缓慢到让你忍不住用头撞键盘，眼睁睁看着终端上每个 epoch 像蜗牛般爬行，这时你难免会想：有没有更好的方法？别担心！我又带来了一篇文章，分享一些让你的深度学习工作流程更加敏捷的技巧/窍门。我将分享一些直接而有用的代码调整，帮助你更有效地利用计算资源。我们还将深入探讨一系列经过行业验证的技巧、窍门和调整，这些方法可以从你的硬件中榨取每一分性能，让你少花时间等待，多花时间进行更快的迭代。

参与评论您还未登录，请先登录后发表或查看评论

Pytorch Lightning中如何设置训练轮数

Faul懒的博客

09-08

1281

PyTorch Lightning（PL）的主要优势包括：训练自动化：PyTorch Lightning可以帮助开发者处理训练循环，包括数据加载、批次迭代、前向传播、损失计算和反向传播等。100行左右的代码就可以写出完整的深度学习项目。分布式训练支持：PyTorch Lightning支持分布式训练，可以在多个GPU或多台机器上进行训练，从而加快训练速度，而且配置特别简单。可复现性：PyTorch Lightning提供的API方便用户使用固定的随机种子和训练环境，确保每次运行的结果是可复现的。

pytorch_lightning深入浅出

weixin_36670529的博客

08-30

481

pytorch-lightning 的核心设计哲学是将深度学习项目中的研究代码(定义模型) 和工程代码 (训练模型) 相互分离。最优模型默认保存在 trainer.checkpoint_callback.best_model_path 的目录下，可以直接加载。用户只需专注于研究代码(pl.LightningModule)的实现，而工程代码借助训练工具类(pl.Trainer)统一实现。下面我们使用minist图片分类问题为例，演示pytorch-lightning的最佳实践。

基于小型数据集使用ControlNet生成自己数据的方法

m0_46864820的博客

04-01

2389

ControlNet仓库：https://github.com/lllyasviel/ControlNet。

8.pytorch lightning之训练时的技术

论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》

04-27

2220

accumulate_grad_batches=K，设置后会每K个batches累积梯度，然后反向传播一次，相当于增加了batch size但内存没有增加。为了搜索学习率，LightningModule模型中必须声明一个learning_rate属性，创建Tuner对象，调用lr_fine方法。的方法将学习率逐渐增大，然后运行少量batches，最后绘制loss vs lr曲线，并给出建议的学习率。绘制的曲线如下，红点为建议值，建议不是最低点，而是在最陡峭的下坡中间。PL中内置学习率搜索工具，其使用论文。

Pytorch-Lighting中Trainer参数的解读

qq_45045793的博客

04-16

6514

对Pytorch-Lighting中Trainer参数的解读

Deep Learning with PyTorch Lightning

02-27

PyTorch Lightning 是一种用于简化 PyTorch 的高级接口，旨在使训练过程更加模块化、可扩展并易于调试。通过使用 PyTorch Lightning 可以更专注于模型的设计和实验，而无需处理许多底层实现细节。 #### 安装依赖库 ...

这个方法太强了，带你使用 PyTorch Lightning 将深度学习管道速度提高 10 倍

Java_chain的博客

10-27

728

文末有迪迦给大家准备的人工智能学习资料礼包（内含：两大Pytorch、TensorFlow实战框架视频、图像识别、OpenCV、计算机视觉、深度学习与神经网络等等等视频、代码、PPT以及深度学习书籍）前言本文介绍了如何使用 PyTorch Lightning 构建高效且快速的深度学习管道，主要包括有为什么优化深度学习管道很重要、使用 PyTorch Lightning 加快实验周期的六种方法、以及实验总结。当 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey H

pytorch_lightning模型训练加速技巧与涨点技巧

Python_Ai_Road的博客

08-20

4488

pytorch-lightning 是建立在pytorch之上的高层次模型接口。pytorch-lightning 之于 pytorch，就如同keras之于 tensorflow.pytorch-lightning 有以下一些引人注目的功能：可以不必编写自定义循环，只要指定loss计算方法即可。可以通过callbacks非常方便地添加CheckPoint参数保存、early_stopping 等...

pytorch lightning 按照频率/epoch/step保存模型或checkpoint

qcwlmqy的博客

06-06

9134

利用 **every_n_train_steps 、train_time_interval 、every_n_epochs **设置保存 checkpoint 的按照步数、时间、epoch数来保存 checkpoints 或模型，注意三者互斥，如果要同时实现对应的功能需要创建多个 MODELCHECKPOINT。在训练深度神经网络时，如果训练时间较长，我们通常希望在训练过程中定期保存模型的参数，以便稍后从该点恢复训练或进行推理。只能设置为 -1，0，1，分别表示保存所有的模型，不保存模型和保存最后一个模型。

解决使用Vue-SuperSlide插件获取数据后没滚动效果问题

weixin_45264424的博客

04-02

925

解决思路，获取数据后使用v-if 重新渲染一遍dom，插件会重新初始化 <superslide :options="options1" v-if="superShow"> <div class="superslide-box1"> <div class="company-item" v-for="(item,index) in mlList" :key="index"> <div class="name">

Pytorch-Lightning中的训练器--Trainer

kuxingseng123的博客

01-30

1万+

慢慢的将其常用库都给其搞明白，明天开始马慢慢的将Lighting代码框架全部搞定。

深度学习训练时间过长，GPU显存占用很多但是占用率过低问题

ShakalakaPHD的博客

11-25

1万+

深度学习训练时间过长GPU占用率过低问题配置环境问题描述调参结果修改num_workers结论附录配置环境操作系统：Ubuntu20.04 CUDA版本：10.2 Pytorch版本：1.6.0 TorchVision版本：0.7.0 mmdet版本：2.5.0 mmcv版本：1.1.5 IDE：PyCharm 硬件：RTX2070S*2 问题描述在训练YOLOv4tiny时发现GPU占用率非常低，并且经常跳到0，导致训练速度很慢为此博主对几个时间点就行设置，打印出来加载数据花费的时间和真正网

SuperSlide 大话主席动态加载数据的方法

Qian_v1的专栏

12-26

770

【代码】大话主席动态加载数据的方法。

Pytorch-Lightning基本方法介绍