全连接层（FullConnect Layer）

CHAO_^

已于 2022-03-09 22:00:26 修改

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Deep Learning 文章标签： caffe 深度学习机器学习

于 2016-12-28 11:36:29 首次发布

本文链接：https://blog.csdn.net/jinzhichaoshuiping/article/details/53907075

Deep Learning 专栏收录该内容

20 篇文章

订阅专栏

本文深入探讨了卷积神经网络中的全连接层作用及其工作原理。介绍了全连接层如何通过连接所有节点来综合提取到的特征，并详细解释了其在前向传播及反向传播过程中的数学运算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

全连接层：
在讨论卷积神经网络时，若直接在输入层采用全连接的方式，会导致权值过多而无法训练，但是全连接层并非无用武之地，在卷积神经网络特征提取完成后，这时的特征维度相对于原始的图片输入已经大大减小，这时可以采用全连接层来最大限度利用每一个特征。

全连接层的每一个节点都与上一层的所有节点相连，用来把前边提取到的特征综合起来。

![这里写图片描述](https://img-blog.csdnimg.cn/img_convert/810a57218f498692c8bfcd72c9a9be33.png) I为输入，O为输出。 **前向的传导过程为：** ![这里写图片描述](https://img-blog.csdnimg.cn/img_convert/e87ac3a22f1c1e239994e01a18f97025.png)

反向传导的过程为：
反向传导的目的有两个：

向前传递梯度；
更新w和b；

1.向前传递梯度，最终误差在每一层以梯度的形式向前传递。
已知传递到该层的梯度为：这里写图片描述
现求：
输出对输入的偏导为：

链式求导过程为：

![这里写图片描述](https://img-blog.csdnimg.cn/img_convert/386d50950a7f2ed07b386ee0a1c57f35.png)

2.更新w

![这里写图片描述](https://img-blog.csdnimg.cn/img_convert/759ae414da84b24db9e42542a0d093eb.png) **3.更新b** ![这里写图片描述](https://img-blog.csdnimg.cn/img_convert/aeaade1a9bf859bf3f7a1d3ab63281dd.png)