图像分割篇-FCN论文精读

已于 2022-01-23 13:41:50 修改
阅读量4.1k 收藏 24
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习论文 文章标签： 深度学习 cnn 计算机视觉
于 2022-01-23 13:33:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/acx0000/article/details/122648905

第一部分：论文部分

共提炼出三个创新点：

·对经典网络改编-卷积替换全连接

·对前向特征图补偿-跳跃连接

·对特征图尺寸恢复-反卷积

1、CNN与FCN的比较

CNN 在传统的CNN网络中，在最后的卷积层之后会连接上若干个全连接层，将卷积层产生的特征图（feature map）映射成为一个固定长度的特征向量。一般的CNN结构适用于图像级别的分类和回归任务，因为它们最后都期望得到输入图像的分类的概率，如ALexNet网络最后输出一个1000维的向量表示输入图像属于每一类的概率.

FCN FCN是对图像进行像素级的分类（也就是每个像素点都进行分类），从而解决了语义级别的图像分割问题。与经典CNN在卷积层使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图（feature map）进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，上采样的特征图进行像素的分类。

可以看出，FCN在CNN的基础上将全连接层转换为卷积层可以使分类网输出热图。添加层和空间损失产生了端到端密集学习的高效机器。

2、跳跃连接

将在卷积的前几层提取到的特征图分别和后面的上采样层相连，然后再相加继续网上往上上采样，上采样多次之后就可以得到和原图大小一致的特征图了，这样可以在还原图像的时候能够得到更多原图所拥有的信息。对第5层的输出执行32倍的反卷积得到原图，得到的结果不是很精确，论文中同时执行了第4层和第3层输出的反卷积操作（分别需要16倍和8倍的上采样），再把这3个反卷积的结果图像融合，提升了结果的精确度。

使用跃层结构融合多层输出，使得网络能够预测更多的位置信息。因为在浅层网络位置信息等保留的比较好，将他们加入到深层输出中，就可以预测到更精细的信息。

 3、上采样-反卷积

卷积操作的逆运算，反卷积并不能复原因卷积操作造成的值的损失，它仅仅将卷积过程中的步骤反向变换一次，因此它还可以被成为转置卷积。

 反卷积和普通卷积的区别：

普通的卷积操作，会使得分辨率降低，如下图3*3的卷积核去卷积4*4得到2*2的输出

反卷积，首先对特征图各神经元之间进行0填充，即上池化；然后再进行卷积运算

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
【图像去噪】论文精读：Multi-level Wavelet-CNN for Image Restoration（MWCNN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
08-27 1795
论文题目：Multi-level Wavelet-CNN for Image Restoration —— 用于图像恢复的多级小波CNNCVPR 2018！感受野大小和效率之间的权衡是低级视觉中的关键问题。普通卷积网络 (CNN) 通常以计算成本为代价来扩大感受野。最近，已经采用扩张过滤来解决这个问题。但它受到网格效应的影响，由此产生的感受野只是具有棋盘图案的输入图像的稀疏采样。在本文中，我们提出了一种新颖的多级小波 CNN (MWCNN) 模型，以更好地权衡感受野大小和计算效率。
【图像去噪】论文精读：Spatial-Adaptive Network for Single Image Denoising（SADNet）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
08-29 1319
论文题目：Spatial-Adaptive Network for Single Image Denoising —— 用于单幅图像去噪的空间自适应网络ECCV 2020！真实世界图像盲去噪，空间自适应去噪网络SADNet！以前的工作表明，卷积神经网络可以在图像去噪任务中取得良好的性能。然而，受局部刚性卷积运算的限制，这些方法会导致过度平滑伪影。更深层次的网络结构可以缓解这些问题，但代价是额外的计算开销。在本文中，我们提出了一种新的空间自适应去噪网络(SADNet)，用于高效的单幅图像盲噪声去除。
FCN论文解读：FCN-Fully Convolutional Networks for Semantic Segmentation
zjx_be_active的博客
10-11 1627
FCN原文作为语义分割领域的开山之作，对其进行研究和阅读几乎是入门语义分割领域的基础，这篇博客整理了自己阅读该论文的一些心得感悟和收获。 首先是FCN原文中提到的Dense prediction问题。 Dense prediction问题： 一类问题，目标是标注出图像中每个像素点的对象类别（label），要求不但给出具体目标的位置，还要描绘物体的边界，具体有图像分割、语义分割、边缘检测等方向。 紧接着是语义分割中的IOU指标（在FCN中也被称为IU指标）。 IOU指标： IOU即Intersec
FCN论文
qq_58529413的博客
08-10 1796
FCN
论文精读：FCN：Fully Convolutional Networks for Semantic Segmentation
qq_52053775的博客
06-11 2117
卷积网络是一种能够产生特征层次结构的功能强大的视觉模型。我们表明，卷积网络本身，训练端到端，像素到像素，超过了最先进的语义分割。我们的关键见解是建立“fully convolutional”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集的预测任务中的应用，并与之前的模型建立了联系。我们将当代分类网络(AlexNet[19]，VGGnet[31]和GoogLeNet[32])调整为完全卷积网络，并通过微调[4]将其学习到的表
图像分割算法FCN论文解读
qq_32172681的博客
08-19 2053
论文名称：Fully Convolutional Networks for Semantic Segmentation 论文地址：https://arxiv.org/pdf/1411.4038.pdf 代码地址：https://github.com/shekkizh/FCN.tensorflow 语义分割是指对图像进行像素级别的分类，即标注出图像中每个像素所属的类别。 这篇论文是语义...
【论文阅读】FCN网络详解
想当咸鱼的猫
12-30 3585
FCN论文详解 1. 将全连接层替换为卷积层 语义分割的目的是对图像中每一个像素点进行分类，与普通的分类任务只输出图像某个类别不同，语义分割任务输出的是与输入图像大小相同的图像，输出图像的每个像素对应输入图像每个像素的类别，这也就是论文中提到的dense prediction。 FCN全卷积网络是图像分割开山之作，其核心思想非常简单，用卷积层代替分类网络中的全连接层。 用于分类的神经网络由卷积层、池化层和最后连接的全连接层组成，经过最后的全连接层后，二维的图像信息被映射为具体的一维类别信息进行输出，得到分
语义分割 - FCN (Fully Convolutional Networks)
Bro_Jun的博客
09-19 1859
目录FCN论文精读本文的创新点先验知识感受野（感受域） Receptive field全局信息与局部信息算法架构训练技巧算法实现定义配置文件 cfg.py数据集处理 dataset.py导入包※※※ 对标签图像编码为什么要对标签图像编码代码实现加载数据集模型的建立 FCN.py导入包自定义双向线性插值卷积核线性插值与双线性插值代码实现卷积核效果构建网络卷积与反卷积尺寸计算公式vgg16的结构代码实现 FCN论文精读 本文的创新点 将分类网络改编为全卷积网络，具体为全连接层转化为卷积层以及通过反卷积
论文精读及分析：U-Net: Convolutional Networks for Biomedical Image Segmentation
dugudaibo的博客
10-03 1万+
Abstract 在本文中我们提出了一种依赖于使数据更有效率从被利用到的增强方法。在U-net的结构中，包括捕获一个上下文信息的收缩路径和一个允许精确定位的对称拓展路径。这种方法可以使用非常少的数据完成端到端的训练，并获得最好的效果。 Introduction CNN 存在很久了，但是已知受限于对于数据量要求过大和神经网络的规模，并没有获得很大的成功，直至 Krizhevsky 才开始成功。但是...
深度学习论文精读[1]：FCN全卷积网络
weixin_37737254的博客
07-04 1306
笔者最近在集中时间撰写深度学习图像分割一书，需要对语义分割众多经典论文进行回顾和精读。目前在写第五章：基于U形结构的网络结构设计，从语义分割的开山之作FCN开始，重启精读之路。随着CNN在图像识别中取得巨大成功，一些经典的图像分类网络（AlexNet、VGG、GoogLeNet、ResNet）也逐渐被应用于更加细分的视觉任务中。很多研究者也在探索如何将分类网络进行改造后用...
论文研究-基于多源融合FCN的图像分割.pdf
07-22
图像分割任务中，传统的基于人工设计特征方法工作量大、复杂度高、分割精度较低，现有的基于全卷积神经网络（fully convolutional networks，FCN）的方法在分割边缘上不够精细。为了提高图像分割算法的分割精度，提出基于多源融合的全卷积神级网络模型，输入图片经过Sobel算子提取边缘特征获得特征矩阵，与RGB和灰度图像一起作为输入，将传统全卷积网络拓展成具有多种输入源的分割模型。在PASCAL VOC2012图像分割数据集上进行实验验证，结果显示该模型提高了图像分割的精度，具有良好的实时性和鲁棒性。
基于FCN的图像语义分割
aohun0743的博客
07-29 1128
语义图像分割的目标在于标记图片中每一个像素，并将每一个像素与其表示的类别对应起来。因为会预测图像中的每一个像素，所以一般将这样的任务称为密集预测。(相对地，实例分割模型是另一种不同的模型，该模型可以区分同一类的不同目标） 常见应用 自动驾驶汽车：我们需要为汽车增加必要的感知，以了解他们所处的环境，以便自动驾驶的汽车可以安全行驶；下图为自动驾驶过程中实时分割道路场景； ...
全卷积神经网络（FCN）论文笔记
charles_zhang_的博客
04-28 4080
全卷积神经网络（FCN）论文笔记 Fully Convolutional Networks for Semantic Segmentation Abstract 卷积网络是一种功能强大的视觉模型，可以产生特征的层次结构。我们证明了卷积网络本身，经过端到端训练的像素到像素，在语义分割方面超过了最先进的水平。我们的关键洞察是构建“完全卷积”网络，该网络接收任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了完全卷积网络的空间，解释了它们在空间密集型预测任务中的应用，并与先前的模型建立了
FCN论文学习与理解
weixin_41936775的博客
09-10 1819
简介 FCN的全称是Fully Convolutional Network，出自2015年Jonathan Long等人的《Fully Convolutional Networks for Semantic Segmentation》，FCN的提出可以说是图像分割领域的一个里程碑，下面从该论文的内容架构记录个人理解。 FCN的提出背景 FCN出现之前，已有许多CNN 网络模型出现，比如AlexNet，VGG net和GoogLeNet等。本文的FCN也是基于CNN网络架构提出的。我们首先对CNN和FCN做一
【论文研读】FCN网络
YS1455的博客
11-27 1059
早期的图像处理方法大多基于较粗粒度的信息（如整个图像或较大的区域块）进行推理。这种方法可能无法捕捉图像中精细的细节。随着技术进步，逐渐发展到精细推理阶段，即需要对图像中的每个像素进行分析和理解。最自然的下一步：像素级预测。精细推理的目标是捕捉图像中尽可能多的细节，而对每个像素进行预测是实现这一目标的直观选择。每个像素都被看作是独立的信息单元，单独预测它的类别或属性，可以最大程度上保留图像的空间细节。完全卷积网络(FCN)，训练端到端，像素到像素的语义分割超过了最先进的，没有进一步的机制。
【深度学习论文】FCN
谢军的博客
04-21 958
目录用 [TOC]来生成目录：目录 网络架构 8大模块 前2个模块 34模块 5模块 6模块 78模块 激活函数 Dropout 多GPU通信 网络细节和特点“黑体” “黑体” “黑体”1.网络架构整个alexnet网络的架构如下图所示： 注意：输入层的大小其实是227*2278大模块整个网络可以分成8个大模块，其中前5模块四卷积模块，用于提取图片特征，后3个模块是全链接层，用于图像分
论文解析FCN——Semantic Segmentation的开山之作
Maple__Boy
10-27 946
FCN——Semantic Segmentation的开山之作之论文解析 今天介绍一篇图像语义分割的开山之作——FCN（全卷积网络） 论文题目：Fully Convolutional Networks for Semantic Segmentation 论文地址： https://arxiv.org/abs/1411.4038 这是一篇发表在2015 CVPR上的一篇论文，拿到了当年的best paper honorable mention 如果你会分类网络，那么分割网络你也就会很快明白了，因为分类网络是把
FCN——Semantic Segmentation的开山之作之论文解析
热门推荐
mieleizhi0522的博客
08-21 2万+
  今天介绍一篇图像语义分割的开山之作——FCN（全卷积网络） 论文题目：Fully Convolutional Networks for Semantic Segmentation 论文地址：https://arxiv.org/abs/1411.4038 这是一篇发表在2015 CVPR上的一篇论文，拿到了当年的best paper honorable mention 如果你会分类网络...
【语义分割】FCN论文阅读
qq_36926037的博客
07-03 1680
摘要   卷积网络是一种功能强大的可视化模型，可以产生层次结构的特征。只经过端到端，像素到像素训练的卷积神经网络，就超过了语义分割的最新技术。   “完全卷积”网络，接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。   我们定义和详细描述了完全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并与先前的模型建立了联系。我们将当代分类网络（AlexNet[19]、VGG-net[31]和GoogLeNet[32]）改编成完全卷积网络，并通过微调[4]将它们的学习表示转移到分割任务中。然后，我
R-FCN论文
最新发布
03-21
### 关于 R-FCN 的相关论文 R-FCN（Region-based Fully Convolutional Network）是一种用于目标检测的深度学习框架，最初在 NIPS 2016 上被描述并发布了一篇重要论文[^1]。这篇论文由 Jifeng Dai、Yi Li、Kaiming He 和 Jian Sun 联合撰写，隶属于微软亚洲研究院视觉计算组[^2]。 #### 论文基本信息 - **标题**: R-FCN: Object Detection via Region-based Fully Convolutional Networks - **作者**: Jifeng Dai, Yi Li, Kaiming He, Jian Sun - **发表会议**: NIPS 2016 该论文提出了基于区域的目标检测新方法——R-FCN，通过完全卷积网络实现高效的目标检测任务。相比传统的 Faster R-CNN 方法，R-FCN 更加注重模型的速度和效率优化，在保持高精度的同时显著降低了推理时间[^5]。 #### 主要贡献 R-FCN 的核心创新在于引入了位置敏感得分图的概念，并利用这些得分图完成最终的分类与回归任务。具体来说，R-FCN 使用了一个全卷积结构来生成固定大小的空间特征映射，随后通过对感兴趣区域（RoI）执行桶平均池化操作，从而获得更精确的位置感知信息。 如果希望深入研究这一主题，可以访问原始论文链接或者查阅 GitHub 社区中的开源项目资源。例如，在实际应用过程中可能会遇到一些技术难题，比如训练 end2end_OHEM 版本时 loss_bbox 始终为零的情况，这通常可以通过调整 numpy 库版本等方式加以解决[^3]。 ```python import numpy as np # 示例代码展示如何验证 NumPy 是否存在问题 def check_numpy_version(): version = np.__version__ if tuple(map(int, version.split('.'))) < (1, 10, 4): raise ImportError("Your NumPy version is too old. Please upgrade to at least v1.10.4.") check_numpy_version() print(f"Numpy Version Checked: {np.__version__}") ``` 上述脚本可以帮助开发者确认当前环境中使用的 NumPy 版本是否满足最低需求。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值