深度学习 学习笔记五

理论：

前馈神经网络的问题

 

卷积的作用和卷积的运算

https://www.cnblogs.com/shine-lee/p/9932226.html

函数角度：

从这个角度看，多层卷积是在进行逐层映射，整体构成一个复杂函数，训练过程是在学习每个局部映射所需的权重，训练过程可以看成是函数拟合的过程。

 

模板匹配角度：

即认为卷积核定义了某种模式，卷积（相关）运算是在计算每个位置与该模式的相似程度，或者说每个位置具有该模式的分量有多少，当前位置与该模式越像，响应越强。

 

一维卷积：一维卷积经常用在信号处理中，用于计算信号的延迟累积。

二维卷积：卷积也经常用在图像处理中。用于图像特征的提取。

卷积计算：

一维卷积：卷积核的移动，乘积，求和，即从原本的信号中加权平均求和得到新的信号序列。

二维卷积：卷积核的移动，乘积，求和，即对图像的每个像素的邻域（邻域大小就是核的大小）加权求和得到该像素点的输出值。最终得到新的图像。

 

 

 

卷积的变种

在卷积的标准定义基础上，还可以引入滤波器的滑动步长和零填充来增加

卷积的多样性，可以更灵活地进行特征抽取。

滤波器的步长（Stride）是指滤波器在滑动时的时间间隔

零填充（Zero Padding）是在输入向量两端进行补零

 

 

转置卷积（反卷积）

PyTorch: torch.nn.ConvTranspose2d()

转置卷积常常用于CNN中对特征图进行上采样，比如语义分割和超分辨率任务中。之所以叫转置卷积是因为，它其实是把我们平时所用普通卷积