ResNet详解

原创 已于 2024-04-26 21:46:53 修改 · 6.1k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #python #目标检测 #人工智能 #pytorch

于 2024-04-22 21:28:03 首次发布

一、认识ResNet

ResNet（Residual Network）是一种深度神经网络结构，被广泛应用于图像分类、目标检测和语义分割等计算机视觉任务中。它是由微软亚洲研究院的何凯明等人于2015年提出的，通过引入残差连接（residual connections）解决了深层网络训练过程中的梯度消失和梯度爆炸问题，有效地加深了网络的深度。

网络亮点

1、超深的网络结构（突破1000层）

其他网络比如VGG。GoogleNet、AlexNet深度也就在十几层到二十几层。

如果将一系列的卷积和池化不断叠加，也能得到一个超深的网络。但是数据结果表明不是层数越深结果越好。

左边图中是将卷积层和池化层进行简单的堆叠所搭建的网络结构。橙黄色表示是20层网络结构所训练出来的效果，红色的线表示56层网络结构训练出来的效果，很明显可以看出20层的比56层结构所训练出来的效果要好很多。

造成这样的层数加深，训练效果变差的原因是什么呢？

==》1、随着网络的层数不断加深，梯度消失或者梯度爆炸这个现象会越来越明显。

梯度消失：假设每一层的误差梯度是小于1的数，在反向传播过程中，每向前传播一次，都要乘一个小于1的系数，当网络越来越深的时候，乘的小于1的系数越多就越趋近于0，这样梯度会越来越小，这就是常说的梯度消失现象。

梯度爆炸：反之，如果每一层的梯度是一个大于1的数，在反向传播过程中，每经过一层都要乘一个大于1的数，随着层数不断加深，那么梯度就会越来越大，这就是梯度爆炸。 

梯度消失和梯度爆炸怎么解决？

对数据进行标准化处理、权重初始化、batch normalization

==》2、退化问题（degradation

最低0.47元/天 解锁文章

200万优质内容无限畅学
ResNet网络详解
11-21 916
残差网络(ResNet)的提出是为了解决深度神经网络的“退化”（优化）问题。有论文指出，神经网络越来越深的时候，反传回来的梯度之间的相关性会越来越差，最后接近白噪声。即更深的卷积网络会产生梯度消失问题导致网络无法有效训练。而ResNet通过设计残差块结构，调整模型结构，让更深的模型能够有效训练更训练。目前 ResNet 被当作目标检测、语义分割等视觉算法框架的主流 backbone。作者提出认为，假设一个比较浅的卷积网络已经可以达到不错的效果，那么即使新加了很多卷积层什么也不做，模型的效果也不会变差。
深度学习（9）---ResNet详解
m0_62881487的博客
08-17 1713
5. ResNet后面跟的数字，如ResNet18、ResNet50、ResNet101等，代表的是该网络结构中特定层的总数，具体来说，这个数字通常指的是卷积层与全连接层的和，而不包括池化层、批量归一化（BN）层等其他类型的层。这些数字反映了网络的深度，即网络的复杂度。3. 解决上述问题（模型走偏）的方法：每一次增加函数复杂度之后的函数所覆盖的区域会包含原来函数所在的区域（嵌套函数（nested function）），只有当较复杂的函数包含复杂度较小的函数时，才能确保提高它的性能，如下图所示。
ResNet网络解析及实战案例
m0_56192771的博客
04-17 8606
网络越深，获取的信息就越多，特征也越丰富。但是在实践中，随着网络的加深，优化效果反而越差，测试数据和训练数据的准确率反而降低了。如下图所示，56层和20层的神经网络对训练误差和测试误差的对比 针对这种深层网络退化的问题，何恺明等人提出了残差网络（ResNet）在2015年的ImageNet图像识别挑战赛夺魁，并深刻影响了后来的深度神经网络的设计。 1 残差块 假设 F(x) 代表某个只包含有两层的映射函数， x 是输入， F(x)是输出。假设他们具有相同的维度。在训练的过程中我们希望能够通过修改网络中的
一文带你看透什么是ResNet
最新发布
weixin_40535700的博客
06-12 47
首先我们来看什么是ResNet，其全称为Residual Network（残差网络），是一种深度学习的网络结构，由微软研究院的何凯明等人于2015年提出。ResNet最大的创新在于引入了“残差模块”（Residual Block），有效地解决了深度神经网络训练中的梯度消失和表示瓶颈问题，使得网络的层数可以达到前所未有的深度，如1000层以上。核心：残差模块的核心思想是通过引入跨层链接（skip connections），将输入直接传递到输出，从而形成一种“残差学习”的机制。
resNet讲解.pdf
10-29
关于resNet，笔者使用的讲解PPT,具体讲解内容包括，框架的发明背景，框架解决的问题，框架的创新点，框架的具体实现架构，框架效果与其他架构之间的对比，以及对于框架的数学原理的部分浅显解释
【深度学习】ResNet网络讲解
weixin_44001371的博客
11-03 6万+
ResNet网络是在2015年由微软实验室中的何凯明等几位大神提出，论文地址是；是在CVPR 2016发表的一种影响深远的网络模型，由何凯明大神团队提出来，在ImageNet的分类比赛上将网络深度直接提高到了152层，前一年夺冠的VGG只有19层。斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名，可以说ResNet的出现对深度神经网络来说具有重大的历史意义。Resnet在cnn图像方面有着非常突出的表现，它利用shortcut 短路连接。
ResNet解读
cf1910094424的博客
05-22 1177
目前看到的最好的Resnet解读http://www.cnblogs.com/alanma/p/6877166.html
Resnet详解
qq_40645146的博客
08-07 687
梯度消失或梯度爆炸 随着网络层数不断加深，梯度消失或梯度爆炸现象会越来越明显。 假设每一层的误差梯度<1，在反向传播过程中，每向前传播一次，都要乘以<1的系数，当我们的网络越来越深时，所乘的<1的系数越多，越趋近于0，这样梯度会越来越小，即梯度消失现象。 反过来，如果每一层梯度是>1的数，在反向传播过程中，每经过一层…………梯度爆炸现象。 解决方法：通常是经过标准化处理、权重初始化、以及bn（batch nomalization）来解决。 退化问题（degradatio..
Resnet模型详解
m0_62919535的博客
08-24 1万+
Resnet是一种深度神经网络架构，被广泛用于计算机视觉任务，特别是图像分类。它是由微软研究院的研究员于2015年提出的，是深度学习领域的重要里程碑之一。
ResNet介绍
热门推荐
上善若水
07-10 19万+
ResNet介绍1 简要概括ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提...
ResNet原理详解
gary101818的博客
05-04 6944
目录Residual Net为什么要引入残差连接？残差网络结构解析残差块的实现ResNet模型实现 Residual Net 首先下图为一个简单的残差连接，我们先不介绍具体内涵，而是讨论一下为什么需要残差连接？ 注意：googlenet在这里是拼接，resnet是相加 为什么要引入残差连接？ 首先大家已经形成了一个通识，在一定程度上，网络越深表达能力越强，性能越好。 不过，好是好了，随着网络深度的增加，带来了许多问题： 计算资源的消耗 模型容易过拟合 梯度消失/梯度爆炸问题的产生 在resnet出来之
经典网络ResNet介绍
网络资源是无限的
02-27 4万+
经典网络ResNet(Residual Networks)由Kaiming He等人于2015年提出，论文名为《Deep Residual Learning for Image Recognition》，论文见：https://arxiv.org/pdf/1512.03385.pdf ResNet要解决的是深度神经网络的”退化(degradation)”问题，即使用浅层直接堆叠成深层网络，不仅难以利用深层网络强大的特征提取能力，而且准确率会下降，这个退化不是由于过拟合引起的。 ResNet也称为残差网络
resnet详解
septoct的博客
06-01 1万+
（参考：深度学习经典网络（4）ResNet深度残差网络结构详解） 1.resnet意义 随着网络的加深，出现了训练集准确率下降的现象，即“网络退化”。 深度残差网络，它允许网络尽可能的加深。 2.resnet结构 这两种结构分别针对resnet34（左图）和resnet50/101/152（右图），一般称整个结构为一个”building block“。其中右图又称为”bottleneck design”，目的一目了然，就是为了降低参数的数目。 看右图，输入是一个3×3×256的特征，第一个步骤用64个1x
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值