【深度之眼】【CV-Baseline】:AlexNet（+Code）

论文研究背景

• ILSVRC:大规模图像识别挑战赛
  ImageNet 数据集包含 21841 个类别， 14,197,122张图片

论文研究成果及意义

• 拉开卷积神经网络统治计算机视觉的序幕
• 加速计算机视觉应用落地

论文结构

摘要

1. 在ILSVRC-2010的120万张图片上训练深度卷积神经网络，获得最优结果，top-1和top-5 error分别为 37.5%, 17%
2. 该网络(AlexNet)由5个卷积层和3个全连接层构成，共计6000万参数，65万个神经元
3. 为加快训练，采用非饱和激活函数——ReLU，采用GPU训练
4. 为减轻过拟合，采用Dropout
5. 基于以上模型及技巧，在ILSVRC-2012以超出第二名10.9个百分点成绩夺冠

论文小标题

1. Introduction
2. The Dataset
3. The Architecture
   3.1 ReLU Nonlinearity
   3.2 Training on Multiple GPUs
   3.3 Local Response Normalization
   3.4 Overlapping Pooling
   3.5 Overall Architecture
4. Reducing Overfitting
   4.1 Data Augmentation
   4.2 Dropout
5. Details of learning
6. Results
   6.1 Qualitative Evaluations
7. Discussion

AlexNet结构

网络包含8个带权重的层；前5层是卷积层，剩下的3层是全连接层。最后一层全连接层的输出是1000维softmax的输入，softmax会产生1000类标签的分布。我们的网络最大化多项逻辑回归的目标，这等价于最大化预测分布下训练样本正确标签的对数概率的均值。