动手深度学习笔记（三十六）6.6. 卷积神经网络（LeNet）

卷积神经网络LeNet5的结构介绍。

卷积神经网络（Convolutional Neural Network，CNN）是一种深度神经网络，广泛应用于图像处理、自然语言处理等领域。LeNet是最早的卷积神经网络之一，由Yann LeCun等人在1998年提出，用于手写数字的识别。本文将介绍LeNet的结构、原理和实现。本文介绍了LeNet的结构、原理和实现，LeNet是卷积神经网络的基础，其结构简单、效果明显，是深度学习入门的良好选择。

在本节中，我们将介绍LeNet，它是最早发布的卷积神经网络之一。这个模型是由AT&T贝尔实验室的研究院Yann LeCun在1989年提出的（并以其命名），目的是识别手写数字。当时，LeNet取得了与支持向量机性能相媲美的成果，成为监督学习的主流方法。LeNet被广泛用于自动取款机中，帮助识别处理支票的数字。 LeNet 总体来看，LeNet（LeNet-5）由两个部分组成： 卷积编码器： 由两个卷积层组成 全连接层密集快： 由三个全连接层组成 每个卷积块中的基本单元是一个卷积层、一个sigm

现在我们常说的LeNet一般指LeNet-5，结构简单，性能优异。本文首先对LeNet-5网络结构做了简单分析，然后用pytorch搭建了该网络，同时实现了数据迭代器和一个简单的训练器并对MNIST数据集做了简单训练，观察了训练过程中损失函数以及正确率的的变化情况达到了预期效果。但训练器比较简陋，后面将会着重对训练器进行改进。

动手学深度学习之卷积神经网络LeNet 参考视频 1. 卷积层与全连接层对比 卷积层VS全连接层：模型更简洁；参数更少；计算成本高（每个参数都参与更多的乘法） 2. LeNet网络简述 LeNet定义:最早发布的卷积神经网络，目标是识别图像中的手写数字，在当时识别精度与支持向量机(SVM)相当，广泛应用于自动取款机中。 组成部分： 卷积编码器： 两个卷积层 全连接层密集块：三个全连接层 卷积块的基本单元：卷积层；激活函数；池化层 3. 代码实现（基于pytorch） import torch from

本节将介绍LeNet，它是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而受到广泛关注。 这个模型是由AT&T贝尔实验室的研究员Yann LeCun在1989年提出的（并以其命名），目的是识别图像 (LeCun et al., 1998)中的手写数字。 当时，Yann LeCun发表了第一篇通过反向传播成功训练卷积神经网络的研究，这项工作代表了十多年来神经网络研究开发的成果。

#深度学习# #人工智能# #神经网络# 主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497

参考书籍《动手学深度学习(pytorch版），参考网址为： https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter05_CNN/5.1_conv-layer https://zh-v2.d2l.ai/chapter_convolutional-neural-networks/index.html 请大家也多多支持这两个很好用的平台~ 大部分内容为书中内容，也有部分自己实验和添加的内容，如涉及侵权，会进行删除。 一、 二维卷积层 卷积神经网络（convolut

LeNet网络是一种经典的卷积神经网络(Convolutional Neural Network，CNN)，由Yann LeCun等人于1998年提出，LeNet的设计初衷是用于识别手写数字的邮政编码和地址。在LeNet中，最终使用softmax激活函数将网络的输出映射为类别概率，选择其中概率最大的选项作为分类结果。图1 LeNet网络结构。

卷积神经网络模型之——LeNet

文章目录从全连接层到卷积不变性限制多层感知机平移不变性局部性卷积通道图像卷积互相关运算特征映射和感受野填充和步幅填充步幅多输入多输出通道多输入通道1×11\times 11×1 卷积层汇聚层最大汇聚层和平均汇聚层卷积神经网络（LeNet）LeNet总结 从全连接层到卷积 卷积神经网络（convolutional neural networks，CNN）是机器学习利用自然图像中一些已知结构的创造性方法。 不变性 计算机视觉的神经网络结构： 平移不变性（translation invariance）：不管检测

《动手学深度学习》6.6卷积神经网络（LeNet） 导入功能包 import torch from torch import nn # MyFunction为自己创建的包 import MyFunction as MF 参数设置 batch_size = 256 lr = 0.9 num_epochs = 10 读取数据 train_iter, test_iter = MF.load_data_fashion_mnist(batch_size=batch_size) # 指定设备 devic

随着层叠的上升，通道的数量从输入时的1个，增加到第一个卷积层之后的6个，再到第二个卷积层之后的16个。在本节中，我们将介绍LeNet，它是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而收到广泛关注。与 3.6节中定义的train_epoch_ch3不同，在进⾏正向和反向传播之前，我们需要将每⼀⼩批量数据移动到我们指定的设备（例如GPU）上。虽然卷积神经网络的参数较少，但与深度的多层感知机相比，它们的计算成本仍然很高，因为每个参数都参与更多的乘法，若你有机会使用GPU，可以用它加快训练。

LeNet LeNet的结构如下，它的输入是一个32 * 32的image，放到一个5 * 5的卷积层中，它的通道数是6，它的输出是一个28 * 28的一个矩阵，这里有个概念叫做feature map，也就第卷积层的输出的那一坨就是feature map。接下来使用一个2*2的pooling层，这样就从28 * 28转换为了14 * 14，通道数目不变。接下来又是一个5 * 5的卷积层，这输出从14 * 14转换为了10 * 10，通道数变为16。后面再接上一个pooling层，输出为一个5 * 5，通道

深度卷积神经网络（AlexNet） 训练神经网络的一些关键技巧的缺失，包括启发式参数初始化、随机梯度下降的巧妙变体、非挤压激活函数和有效的正则化技术。并且数据集仍然相对较小，不足以开发出有大量参数的深层多通道多层卷积神经网络。 AlexNet AlexNet和LeNet的设计理念非常相似，但也存在显著差异。 首先，AlexNet比相对较小的LeNet5要深得多。AlexNet由八层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。 其次，AlexNet使用ReLU而不是sigmoid作为其激活函数。