pytorch笔记（十）Batch Normalization

最新推荐文章于 2025-08-18 20:52:08 发布
最新推荐文章于 2025-08-18 20:52:08 发布
阅读量791 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： pytorch 回顾笔记 文章标签： pytorch BN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19707521/article/details/130855613
本文介绍了Batch Normalization（BN）的作用，包括加快收敛、提升精度和减少过拟合。详细阐述了数据归一化的两种方法，重点讨论了BN的数据归一化过程，分为计算批次均值与方差、归一化、尺度变换和偏移四个步骤。BN的核心在于通过γ和β参数适应性地调整归一化后的数据，以保持网络的表达能力。此外，还提到了BN在神经网络训练中的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境

  • python 3.9
  • numpy 1.24.1
  • pytorch 2.0.0+cu117

一、Batch Normalize 作用

  • 加快收敛、提升精度：对输入进行归一化，从而使得优化更加容易
  • 减少过拟合：可以减少方差的偏移
  • 可以使得神经网络使用更高的学习率：BN 使得神经网络更加稳定，从而可以使用更大的学习率，加速训练过程
  • 甚至可以减少 Dropout 的使用：因为 BN 可以减少过拟合，所以有了 BN，可以减少其他正则化技术的使用

二、数据归一化

方法1） [0,1]归一化，使结果值映射到[0,1]之间

x^{*} = \frac{x-min}{max-min}

方法2）正态分布归一化，这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1

了解本专栏 订阅专栏 解锁全文 超级会员免费看
PyTorch笔记 - Weight Normalization 权重归一化
AGI
03-23 4360
深度神经网络的权重归一化（Weight Normalization，简称WN）是一种优化技术，它可以加速训练过程并提高模型的泛化能力。此外，权重归一化还可以改善网络的初始化和正则化，因为它可以降低权重矩阵的条件数，并且可以与批次归一化或dropout等技术结合使用。权重归一化将连接权重向量w在其欧氏范数和其方向上解耦成了参数向量v和参数标量g，即w = g * v / ||v||，其中||v||表示v的欧氏范数。这样，原来对w的优化就转化为对g和v的优化，而g和v分别控制了w的长度和方向。
PyTorch笔记 - Normalization Layer (Batch/Layer/Instance/Group/Weight)
AGI
12-23 993
统计量：statistic term。
【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记Batch Normalization（批量归一化）
qq_44832832的博客
11-22 611
【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（批量归一化）
Pytorch归一化方法讲解与实战：BatchNormalization、LayerNormalization、nn.BatchNorm1d和LayerNorm()和F.normalize()
qq_43391414的博客
10-16 1万+
文章目录LayerNormalizationBatchNormalization 这些Normalization的作用都是让数据保持一个比较稳定的分布，从而加速收敛。Batch Normalization 的处理对象是对一批样本， Layer Normalization 的处理对象是单个样本。不过，他们到底指的是什么呢？有的时候，讲解是多余的，实战一下，你就懂了： talk is cheap,show me the code import torch import torch.nn as nn Laye
pytorch实现batch normalization
m0_56175815的博客
05-08 1327
Batch Normalization（BN）层是一种常用于神经网络中的层。它是在每个训练批次中对输入进行规范化的技术，以防止神经网络中的梯度消失和梯度爆炸问题。
学习笔记|Pytorch使用教程25(Batch Normalization)
qq_24739717的博客
11-21 1353
学习笔记|Pytorch使用教程25 本学习笔记主要摘自“深度之眼”，做一个总结，方便查阅。 使用Pytorch版本为1.2 Batch Normalization概念 PyTorch的Batch Normalization 1d/2d/3d实现 一.Batch Normalization概念 Batch Normalization :批标准化 批:一批数据，通常为mini- batch 标准...
PyTorch笔记25--Batch Normalization
zjhzxsljl的博客
02-22 415
Batch Normalization：批标准化批：一批数据，通常为mini-batch标准化：0均值，1方差优点：1. 可以用更大学习率，加速模型收敛2. 可以不用精心设计权值初始化3. 可以不用dropout或较小的dropout4. 可以不用L2或者较小的weight decay5. 可以不用。
【学习笔记】Pytorch深度学习—Batch Normalization
白桃deep_learning博客
09-03 2255
【学习笔记】Pytorch深度学习—Batch NormalizationBatch Normalization概念Pytorch的Batch Normalization 1d/2d/3d 实现 本节内容主要分为2大部分：（1）Batch Normalization概念；（2）Pytorch的Batch Normalization 1d/2d/3d 实现 Batch Normalization概念 Pytorch的Batch Normalization 1d/2d/3d 实现 ...
PyTorch笔记9-Batch Normalization
热门推荐
u014532743的博客
11-06 2万+
本系列笔记为莫烦PyTorch视频教程笔记 github源码 reference1: 网易吴恩达 DL 课程 reference2: 知乎关于 BN 讨论 概要我们知道 normalize input（归一化输入）可以加速神经网络的训练，那我们是否可以 normalize activation function 并 speed up 网络训练呢，这就是 Batch Normaliz
ParallelWaveGAN-KaldiFree：纯Pytorch的PWG
EthanLifeGreat的博客
08-18 88
摘要：作者开发了无需Kaldi环境的ParallelWaveGAN实现，通过PyTorch预处理数据直接接入Espnet的PWG系统，简化了训练和推理流程。该项目支持torchaudio预处理，避免了传统方法中构造Kaldi格式文件的繁琐步骤。代码已开源在EthanLifeGreat/ParallelWaveGAN-KaldiFree仓库。
【深度学习基础】PyTorch Tensor生成方式及复制方法详解
Small__明的博客
08-18 233
内存共享与NumPy共享内存视图操作（如view()/切片）共享内存其他方法均创建独立副本梯度处理.clone()唯一保留梯度计算图copy_()会破坏目标Tensor的计算图创建新计算图使用场景需要梯度回传：使用.clone()高效数据覆盖：使用.copy_()完全独立拷贝：使用与NumPy交互：使用numpy()
深度剖析PyTorch分布式训练：从原理到工程实践
最新发布
qq_40379132的博客
08-18 507
PyTorch分布式训练核心技术解析 本文深入剖析PyTorch分布式训练的核心架构与实现原理。主要内容包括：1）分布式训练架构演进，从参数服务器到现代混合分片技术；2）AllReduce算法数学原理及工程实现，包括RingAllReduce的Scatter-Reduce和AllGather两阶段通信；3）ZeRO优化器的三级参数分片策略；4）生产级分布式训练模板，涵盖进程组初始化、DDP模型并行、分布式采样等关键环节；5）典型陷阱与优化方案，如死锁预防、内存管理、通信计算比平衡等；6）前沿技术包括MoE专
动手学深度学习（pytorch版）：第四章节—多层感知机（5）权重衰减
weixin_70217160的博客
08-18 453
本文介绍了正则化技术缓解模型过拟合的方法，重点讲解了权重衰减（L2正则化）的实现。通过高维线性回归示例展示了权重衰减的效果：未正则化时训练误差低但测试误差高（过拟合），加入L2惩罚后训练误差增大但测试误差降低。文章详细演示了从零开始实现权重衰减的过程，包括添加L2范数惩罚项到损失函数，以及使用PyTorch简洁实现的方式。实验结果表明，权重衰减能有效控制模型复杂度，在训练误差和测试误差之间取得更好平衡。
第七十章：告别“手写循环”噩梦！Trainer结构搭建：PyTorch Lightning让你“一键炼丹”！
qq_35899016的博客
08-15 874
还在为PyTorch训练循环中复杂的设备管理、分布式配置、日志记录等“脏活累活”而烦恼吗？本文将为你深度解密AI训练的“脚手架”大师——PyTorch Lightning 和 Hugging Face Accelerate。我们将直击手动训练的痛点，详细介绍两大框架如何通过模块化、自动化和高度抽象，将你的“头秃”代码变得简洁、高效且易于扩展。文章将深入对比它们的特点和适用场景，并提供可本地复现的PyTorch Lightning和Hugging Face Accelerate最小化代码示例，手把手教你搭建一
pytorch学习笔记-Loss的使用、在神经网络中加入Loss、优化器(optimizer)的使用
qq_45437180的博客
08-14 237
博主最近真要累鼠了…anyway上号更新一点，预计下周就能把该系列更完了= =
【踩坑笔记】50系显卡适配的 PyTorch 安装
herogus的博客
08-17 907
本文介绍了在Windows系统上安装PyTorch的详细流程和注意事项。系统要求Windows7及以上版本，Python3.9-3.12，支持CUDA 12.8+（50系显卡需12.9版本）。文章提供了pip缓存配置建议，详细说明了查看CUDA版本、安装PyTorch对应版本（通过官方命令）、验证安装的方法，并附带了完整的GPU性能测试代码，包括矩阵运算、混合精度、深度学习模拟、显存带宽和Transformer注意力机制测试。最后还提供了显存压力测试方法，帮助用户全面评估GPU性能。
动手学深度学习（pytorch版）：第四章节—多层感知机（4）模型选择、欠拟合和过拟合
weixin_70217160的博客
08-18 823
摘要：本文探讨了机器学习中的过拟合与欠拟合问题。通过分析训练误差和泛化误差的关系，阐述了模型复杂性与数据集大小对泛化性能的影响。实验部分使用多项式回归模型，对比了不同阶数下的拟合效果：三阶多项式（正常拟合）、线性模型（欠拟合）和高阶多项式（过拟合）。结果表明，模型复杂度过低会导致欠拟合，而过高则容易过拟合训练数据噪声。文章还介绍了验证集、交叉验证等模型选择方法，强调测试集应仅用于最终评估。研究指出，深度学习中训练误差通常优于验证误差，但最终应更关注模型的泛化能力。
Python-深度学习.pytorch（二）——自动微分、认识深度学习
bright_colo的博客
08-16 801
自动微分模块torch.autograd负责自动计算张量操作的梯度，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，可以实现网络权重参数的更新，使得反向传播算法的实现变得简单而高效（梯度运算必须是浮点型（float））
一文讲清楚Pytorch 张量、链式求导、正向传播、反向求导、计算图等基础知识
weixin_45690427的博客
08-14 921
本文系统介绍了PyTorch深度学习的基础知识，包括数学概念、张量操作和神经网络实现。主要内容涵盖： 数学基础：讲解标量、向量、矩阵和张量的定义与区别，并展示可视化方法 PyTorch张量：介绍张量创建、基本运算（加减乘除、矩阵乘法）和形状操作（reshape/view/squeeze） 计算图与自动求导：演示PyTorch的自动微分机制 神经网络实现：包含完整示例展示如何构建简单神经网络 文章采用代码与说明相结合的方式，通过实际例子帮助理解PyTorch的核心概念和操作方法，为深度学习实践奠定基础。
PyTorch学习笔记与代码分享
- 理解并实现不同的正则化技术，如Dropout和Batch Normalization。 4. 实战应用： - 使用Pytorch进行图像识别、自然语言处理等实际项目。 - 掌握如何加载、预处理和增强数据集。 - 学习如何使用预训练模型，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_yuki_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值