Xavier法与何恺明法初始化权重的意义及原理

最新推荐文章于 2025-01-11 01:01:05 发布
最新推荐文章于 2025-01-11 01:01:05 发布
阅读量5.7k 收藏 3
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 视觉检测图像分割干货 文章标签： Xavier 初始化 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42308217/article/details/124244688
本文探讨了神经网络权重初始化的重要性，解释了Xavier和He初始化方法的原理，旨在确保信息在正向传播和反向传播过程中有效传递。Xavier初始化适用于tanh和sigmoid激活函数，而He初始化更适合ReLU及其变体，如leaky ReLU。通过调整权重初始化的方差，这两种方法可以防止梯度消失和过拟合问题，促进深层神经网络的训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

神经网络的本质：学习数据分布。

神经网络中，每层数据传送是要有意义的，这种意义直观的体现为原本要表达的意思，不能说通过神经网络后被曲解，或者可以理解为一句话通过传递不能变成谣言。

  • 全零初始化：对于每一层中的各个神经元，weights都是相同的。因此无论网络训练多少轮，每层的输出都一样，无法学习或者提取到不同的特征。(从左往右依次为神经网络的每一个全连接层+激活函数的输出的数据分布，共五层)

  • 小一点的随机权值初始化(均值为零，方差特别小)：虽然每个神经元都有各自的值，能够保证更新是不同的，但对于输出经过tanh激活后(第一行所示)，会聚集于0，对于输出经过sigmoid激活后(第二行所示)，会聚集于0.5。因此信息仍然无法实现传递，

了解本专栏 订阅专栏 解锁全文
深度学习网络训练技巧篇：神经网络初始化tricks---何凯明大神2018年新作（随机初始化网络）
Tiger数学之家的博客
09-13 4631
本文主要介绍通过不同的方法初始化神经网络中的图层权重。并且通过各种简短的实验和思想练习，我们将逐步发现为什么在训练深度神经网络时足够的重量初始化非常重要。在此过程中，我们将介绍研究人员多年来提出的各种方法，并最终深入研究最适合您且最有可能使用的当代网络架构的方法。 接下来的例子来自我自己重新实现的一套笔记，Jeremy Howard在最新版本的fast.ai的深度学习第二部分课程中介绍了这一课程，...
【深度学习理论】(4) 权重初始化，Batch Normalization
博观而约取，厚积而薄发
03-19 2872
各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。 1. 权重初始化 神经网络中的所有权重都能通过梯度下降和反向传播来优化和更新。现在问题来了，如果每一层的权重全部初始化为同一个常数，不同层的常数可以不一样，会发生什么呢。 这样会导致同一层的所有神经元前向传播和反向传播完全相同。 如下图，前向传播过程中，每一个隐层接收到的输入是一样的(x1,x2,...)，每个隐层神经元对应每个输入神经元的权重又是相同的，那么每个隐层神经元的输出是一样的。那么它们反向传播回来的
何凯明初权重始化
ZJpingfanzhilu的博客
05-26 1329
本文为Xavier的姊妹篇，论文名称：Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification，2015年一篇期刊。论文的贡献有两个： 因为Xavier限制激活函数为线性的，因此并不适用Relu激活函数，因为提出一种新的初始化方式。 提出基于LRelu的激活函数，PRelu。 1 初始化 参照了Xavier论文的思想，该论文的思想是前向传播时保证每层激活函数的输入的方差相等，反向
Pytorch权重初始化方法——Kaiming、Xavier
qhaaha的博客
04-26 2万+
Pytorch权重初始化方法——Kaiming、Xavier 结论 结论写在前。Pytorch线性层采取的默认初始化方式是Kaiming初始化，这是由我国计算机视觉领域专家何恺明提出的。我的探究主要包括： 为什么采取Kaiming初始化？ 考察Kaiming初始化的基础——Xavier初始化的公式 考察Kaiming初始化的公式 用Numpy实现一个简易的Kaiming初始化 为什么采取Kaiming初始化？ 采取固定的分布？ 当考虑怎么初始化权重矩阵这个问题时，可以想到应该使得初始权重具有随机性。提到
深度学习参数初始化（二）Kaiming初始化 含代码
xian0710830114的专栏
07-13 3万+
Xavier初始化在ReLU层表现不好，主要原因是relu层会将负数映射到0，影响整体方差。而且Xavier初始化方法适用的激活函数有限：要求关于0对称；线性。而ReLU激活函数并不满足这些条件，实验也可以验证Xavier初始化确实不适用于ReLU激活函数。所以何恺明在对此做了改进，提出Kaiming初始化，一开始主要应用于计算机视觉、卷积网络。...
深度学习中的常见初始化方法：原理、应用与比较
进一步有进一步的欢喜~
01-11 1084
深度学习模型的性能高度依赖于其参数的初始化方式。合适的初始化方法能够加速模型收敛，避免梯度消失或爆炸等问题，从而提升模型的整体表现。本文详细介绍了深度学习中几种常见的初始化方法，包括随机初始化、零初始化、Xavier初始化、Kaiming初始化及其变体，并分析了它们的原理、适用场景以及在实际应用中的效果比较。
详细介绍一下Xavier初始化与kaiming初始化，包括公式与解析
最新发布
03-01
这两种方法都是为了解决深度神经网络中的梯度消失或爆炸问题，通过合理地初始化权重来保持输入和输出的方差一致。 接下来，我需要明确这两种初始化方法的数学推导过程。对于Xavier初始化，核心思想是保持前向传播时...
深度学习-神经网络的权重初始化方法
算法之美
11-24 1264
深度学习中神经网络的几种权重初始化方法，权重的初始化方法，总结了权重的初始化方法
『参数初始化』开局一个神经网络，初始值全靠随机
Hoshino Ren的博客
04-10 2073
一文介绍参数初始化的各种讲究以及常用参数初始化方法，以及其在PyTorch中的应用。
kaiming_init 函数
qq_34425255的博客
04-17 573
总的来说,这些导入语句让我们可以在代码中直接使用 PyTorch 的神经网络层以及 MMCV 提供的一些有用的工具函数和模块。这有助于提高开发效率,并且可以利用这些成熟的库提供的功能来构建更加健壮的深度学习模型。这种初始化方法专门针对使用ReLU激活函数的神经网络设计,可以有效地解决深度神经网络在训练初期出现的梯度消失或爆炸的问题。MMCV 库将这种有效的初始化方法封装成了一个易用的函数,极大地方便了深度学习模型的开发和训练。这些导入语句都是很常见的 PyTorch 和 MMCV 库的用法。
何恺明相关工作小结
Coding
08-22 983
本文只总结本人学习到的何恺明的相关工作。 0、PReLU。Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification。 1、MSRA初始化。在Xavier初始化的基础上乘以根号2。Delving Deep into Rectifiers: Surpassing Human-
深度学习中的He初始化
gaoxueyi551的专栏
02-19 8102
一、背景 He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法，动机同Xaviar初始化基本一致，都是为了保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号方差大致相等。 二、一些假设 关于参数的大部分假设同Xaviar初始化一致，但是，He初始化对应的是非线性激活函数（Relu 和 Prelu），而Xaviar初始化对应的是线性激活函数。符号假设参考原论文。 三、推导 ...
深度学习之参数初始化（二）——Kaiming初始化
热门推荐
CodeTutor
06-13 3万+
。
【深度学习】深度学习权重初始化
Shwan_ma的博客
07-28 6549
本文对CS231中的Training Neural Networks的权重更新部分进行记录 权重的初始化在深度神经网络中起着比较大的重要，算是一个trick，但在实际应用上确是个大杀器。 1. 如果一开始把网络中的权重初始化为0，会发生什么？ 因为权重初始为0， 由于网络中的神经元的更新机制完全相同，由于网络的对称性，会产生各个layer中产生相同的梯度更新，导致所有的权重最后值相同，收敛会...
深度学习中的初始化
kesonyk的专栏
12-06 1637
深度学习中的初始化layer { name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 } param { lr_mult: 2 } convolution_param { num_output: 32 pad: 2
Xavier初始化
Weiv_gao的博客
08-29 7240
文章题目：Understanding the difficulty of training deep feedforward neural networks 原文链接：Xavier初始化 补充几种初始化 全0初始化 在线性回归，logistics回归的时候，基本上都是把参数初始化为0，模型也能够很好的工作。然后在神经网络中，把w初始化为0是不可以的。如果全部初始化为0，在神经网络第一遍前向传播所有隐层神经网络激活值相同，反向传播权重更新也相同，导致隐层神经元没有区分性，称为“对称权重”现象。如果所有的参数都
深度学习之参数初始化
Vici__
08-13 1972
为什么要学习参数初始化？ 我们都知道，神经网络模型一般是通过随机梯度下降法来训练模型、学习参数。 我们在使用随机梯度下降法的时候需要先给参数赋初值，那么合理正确地初始化参数，能够影响到算法的收敛性、减小泛化误差等。 如果使用的框架是TensorFlow，那么在看完博客后可以看看下面这篇博客，整理了对变量进行初始化的各种函数API。 下面整理参数初始化的方式时只给出了公式，根据公式套...
CNN数值初始化——xavier（上）
zhongshaoyy的博客
10-28 1万+
作者：冯超 链接：https://zhuanlan.zhihu.com/p/22028079 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 上一回我们做了三个小实验。第一个是正常的实验，表现优异；第二个实验我们把初始化调整得很奇葩（为什么奇葩？），最终训练结果弱爆了；第三个实验我们把非线性函数重新换回sigmoid，模型奇迹般地回血，虽然表现不够完美
神经网络中的权重初始化一览：从基础到Kaiming
小白学视觉
03-14 1392
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达在进行各种小实验和思维训练时，你会逐步发现为什么在训练深度神经网络时，合适的权重初始化是如此重要。那么如何使用不同的方...
Xavier初始化权重的表达式
06-12
Xavier初始化是一种常用的权重初始化方法，它的表达式如下： $$ W \sim U[-\sqrt{\frac{6}{n_{in}+n_{out}}}, \sqrt{\frac{6}{n_{in}+n_{out}}}] $$ 其中，$n_{in}$ 是输入神经元的数量，$n_{out}$ 是输出神经元的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刚哥吧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值