1、Highway Network --- 首个成功训练成百“上千层”（100层及900层）的卷积神经网络
特点：借鉴LSTM，引入门控单元，将传统前向传播增加一条计算路径，变成公式（3）形式
增加了额外训练参数W_T
2、深层网络退化问题
越深的网络拟合能力越强，但在增加网络层数的过程中，当达到一定层数时，继续增加层数，训练误差变大的现象
可以看出，34层ResNet比18层ResNet好2.8%。更重要的是，34层ResNet显示出相当低的训练误差，并可推广到验证数据。这表明，在这种情况下，退化问题得到了很好的解决，我们设法通过增加深度获得了精度增益，并且ResNet更深但
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
