- 博客(24)
- 收藏
- 关注
RSS订阅原创 Training Very Deep Networks
这篇文章提出一种训练深层网络的训练结构-highway，主要的来源于LSTM中的阀门开关的思想。highway的提出使得可以使用梯度下降可以直接训练较深的卷积神经网络。plain网络前向过程为：其中H为非线性激活函数。对于highway网络来说在上述的基础上又引入了两个非线性变换T和C，则highway为：其中T为transform gate，C为carry gat
2016-01-08 20:08:04
768
原创 Deep Residual Learning for Image Recognition
Deep Residual Learning for Image Recognition中提出的152层网络结构在ILSRC 2015获得第一名，集成后的网络在ImageNet分类错误率3.57%，作者微软研究院的何凯明等。 上图中两条曲线分别为20层和56层的“plain”网络在训练集和测试集上的错误率，这里的“plain”是指一般的无环的“直流”卷积网络。按照以往的经
2016-01-08 18:57:25
1636
原创 Boosting & AdaBoost算法
提升和自适应提升方法Boosting & AdaBoost1 算法起源 在机器学习领域中，关键问题就是如何利用观测数据通过学习得到精确估计。但是，在实际应用领域中，构造一个高精度的估计几乎是不可能的。Boosting就给出了一个解决上述问很好的思路。Boosting是一种提高任意给定学习算法准确度的方法。它的思想起源于 valiant在1984年提出的PAC ( Probabl
2015-12-29 09:06:59
6258
原创 训练深度网络的梯度弥散及梯度膨胀问题
在深度网络中，不同层的学习速度差异很大。尤其是在网络后面层学习的情况很好的时候，先前的层常常会在训练时停止不变，基本上学不到东西，这些原因是与基于梯度的学习方法有关。我们用MNIST数字分类问题作为研究和实验的对象：这个网络有784个输入神经元，对应于图片28*28=784个像素点，我们设置隐藏神经元为30个，输出层为10个神经元，对应于MNIST的10个数字（0~9），我们训练30epo
2015-12-27 12:32:40
9909
原创 Linux文件和文件夹复制
Linux文件和文件夹复制1、本地复制：命令：cp说明：将一个档案拷贝至另一档案，或将数个档案拷贝至另一目录。参数：-a 尽可能将档案状态、权限等资料都照原状予以复制。-r 若 source 中含有目录名，则将目录下之档案亦皆依序拷贝至目的地。-f 若目的地已经有相同档名的档案存在，则在复制前先予以删除再行复制。2、远程传输文件或文件夹命令：scp scp
2015-10-23 22:09:55
796
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人