全卷积网络FCN的缺陷

如果你是一枚Coder，但是你不知道Github，那么我觉的你就不是一个菜鸟级别的Coder，因为你压根不是真正Coder，你只是一个Code搬运工。说明你根本不善于突破自己！为什么这么说原因很简单，很多优秀的代码以及各种框架源码都存放于github当中！

后记： 传统方法使用patchwise training，为了对像素进行分类，对该像素周围的一个图像块作为CNN的输入，这样做有几个问题： （1）存储开销大；（2）计算效率低下，因为相邻像素块的内容基本重复；（3）像素块的大小限制了感知区域的大小。 还有个问题，loss怎么计算？ 损失函数是在最后一层的spatial map上的每一个pixel的loss和，在每一个pixel使用softm...

全连接层的缺点在于其会破坏图像的空间结构，因此人们开始使用卷积层来代替全连接层，通常采用1x1的卷积核，这种不包含全连接层的神经网络就是全卷积神经网络(FCN)。FCN最初是用于图像分割任务，之后开始在计算机视觉领域的各种任务上都得到应用。FCN的特点就在于输入和输出都是二维的，并且输入和输出具有相对应的空间结构，在这种情况下，我们可以将FCN的输出看作是一种热度图，用热度来指示检测的目标的区域。在目标所处的区域显示较高的热度，而在背景区域显示较低的热度，这也可以看成是对图像上的每一个像素点都进行了分类，.

我是刚开始接触ubuntu 和深度学习      跑FCN是根据 http://www.itdadao.com/articles/c15a530243p0.html 和http://blog.csdn.net/wangkun1340378/article/details/70238290   走的 我按照链接一下载caffe后将其重命名为FCN 再把fcn下到这个文件夹中 为了不扰乱我之前装的c

一：找不到指定的路径，解决方法：将路径名换成绝对路径，相对路径的方式暂时不知怎么解决； 二：运行时报下面这个错，解决办法： ValueError: num_samples should be a positive integer value, but got num_samp=0 解决办法：shuffle的参数设置错误导致，因为已经有batch_sample了，就不需要shuffle来进行随机的sample了，所以在这里的shuffle应设置为False self.train_dataloader = D

与传统用CNN进行图像分割的方法相比，FCN有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。

卷积操作具有局部连接、权值共享的特点，能很好地保留二维数据的空间信息，而池化操作能够很好地满足平移不变性，这在分类任务中非常重要。但是卷积神经网络有一个很大的缺陷，就是网络输入必须指定大小，而且一般只能进行一对一的预测，即一个输入只能得到一个预测结果。但是随着视觉领域的发展，这种预测已经无法满足要求，完成的任务越来越复杂，往往需要的是密集预测，即输入对象中的每一个元素都需要进行预测，这是卷积神经网络无法完成的，而全卷积神经网络就是在这种需求下被提出的。

全卷积神经网络（Fully Convolutional Network，FCN）是一种用于图像分割和语义分割任务的深度学习模型。与传统的卷积神经网络（Convolutional Neural Networks，CNN）不同，FCN中的全卷积层（Fully Convolutional Layer）可以接受任意大小的输入，并输出相应大小的特征图，而不仅仅是对固定大小的输入进行分类。FCN通常由卷积层和转置卷积层组成，以实现特征提取和上采样。

论文题目：《Fully Convolutional Networks for Semantic Segmentation》 论文地址：https://arxiv.org/abs/1411.4038 传统的基于CNN的语义分割方法        传统的基于CNN的语义分割方法是：为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入，用于训练和预测。这种方法有以下几个缺点： 1）存储开销很大、例如，对一个像素使用的图像块的大小为1

但是在进入全连接层时，feature map（假设大小为n×n）要拉成一条向量，而向量中每个元素（共n×n个）作为一个结点都要与下一个层的所有结点（假设4096个）全连接，这里的权值个数是4096×n×n，而我们知道神经网络结构一旦确定，它的权值个数都是固定的，所以这个n不能变化，n是conv5的outputsize，所以层层向回看，每个outputsize都要固定，那每个inputsize都要固定，因此输入图片大小要固定。然而在两类层中，神经元都是计算点积，所以它们的函数形式是一样的。

由于最后一层特征图过小，有细节信息丢失，所以我们通过跳跃结构，将来自深层粗糙层的语义信息和来自浅层精细层的外观信息结合，即将较浅的特征图与对应的上采样后的特征图进行逐元素相加，以保留更丰富的细节和空间信息。其中常用的上采样方法包括反卷积和双线性插值，用于像素级别的预测，为每个像素赋予一个类别标签或分割掩码，从而实现对图像的物体分割。基于传统的计算机视觉技术和启发式规则，FCN的出现标志着深度学习在图像分割中的重要突破，它通过端到端的训练和全卷积网络的设计，实现了更准确和高效的像素级别分割。

1 FCN网络介绍 FCN（Fully Convolutional Networks，全卷积网络） 用于图像语义分割，它是首个端对端的针对像素级预测的全卷积网络，自从该网络提出后，就成为语义分割的基本框架，后续算法基本都是在该网络框架中改进而来。 对于一般的分类CNN网络，如VGG和Resnet，都会在网络的最后加入一些全连接层，经过softmax后就可以获得类别概率信息。 但是这个概率只能标识整个图片的类别，不能标识每个像素点的类别，所以这种全连接方法不适用于图像分割。 FCN对图像进行像素级的分类，与

PSPNet原理与代码实例讲解 1.背景介绍 1.1 语义分割的重要性 在计算机视觉领域,语义分割是一项非常重要且具有挑战性的任务。它的目标是将图像中的每个像素分类到预定义的类别中,以理解图像的内容和场景。语义分割在自动驾驶、医学图像分析、虚

图片来源：Mathworks翻译 | 王赫编辑 | Donna2012年，三位深度学习的“巨人”Alex Krizhevsky, Ilya Sutskever 和 Geoffrey Hinton，联合发表了题为 “ImageNet Classification with Deep Convolutional Networks” 的论文。自此，卷积神经网络( CNNs )就成了一个万人追捧的工具，并

（1）效果好是因为仿生学，缺点是无法扩展到平面视觉以外的地方吧。 （2）缺点一：实现比较复杂。缺点二：训练所需时间比较久。 （3）不是单一算法,不同的任务需要单独训练 （4）世界(物理空间、解空间等)是连续且局部平坦的+规律/特征具有时空局部平移不变性，即世界存在局部平移不变的统计规律 举个例子：在地球表面某局部画三角形，发现内角和总是等于180，并且随便跑到地球的哪里都是如此，但是如果你

自己创建的fcn网络，只有6层，训练的时候遇到太多的坑，记录如下： 1.loss值爆炸，甚至为NAN值，结果如下所示 策略：降低学习率 2.学习率调整之后，出现结果如下： epoch=0,i=30076 of 78989, loss=798.504578 epoch=0,i=30077 of 78989, loss=798.504578 epoch=0,i=30078 of ...