神经网络的基础

序言,本文讲解了一些神经网络的基础知识以及基本简单,卷积网络模块例如VGG,Resnet等等

卷积神经网络:

CNN本质特征:局部感知,权重共享,平移不变性。

但是①细微特征(例如颜色)获取不了,②长距离以来问题

图片特征:包括轮廓,纹理,颜色,大小。

卷积擅长提取:图片特征

LeNet5网络

深度卷积神经网络AlexNet

VGG网络

GoogleNet网络

合并连接网络GoogleNet

网络的中间层特征对学习是有益的,GoogleNet多尺度损失头结合loss =0.3*loss_one + 0.3loss_two + 1.2*loss_main

浅层--->提取几何特征 深层-->提取语义特征

tips: 调整多头loss的惩罚系数比例有利于提升准确率,系数越大学习的越多(有概率只留mian头反而效果更好)

残差网络ResNet

ResNet解决了网络退化问题,不是解决了梯度消失的问题,可以缓解梯度消失

目的:再加一层不会让上一层的特征变得更差。

做法:H(x) = X:上一层输出 +F(x):中间网络层

残差的模式

其他补充:

神经元一定是要经过线性变换和非线性变换两种变换的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值