Faster-RCNN网络

Faster R-CNN深度解析：目标检测与网络结构详解
最新推荐文章于 2025-07-13 11:42:59 发布
最新推荐文章于 2025-07-13 11:42:59 发布
阅读量5k 收藏 48
点赞数 2
CC 4.0 BY-SA版权
分类专栏： # 深度学习与计算机视觉 文章标签： 分类 深度学习 计算机视觉 人工智能 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43966129/article/details/123234695
本文详细解读了Faster R-CNN的目标检测方法，包括anchor思想、RPN网络生成候选区域、ROIPooling的应用以及训练流程。通过实例演示，深入剖析了模型结构和关键步骤，适合理解深度目标检测技术。

Faster-RCNN网络

学习目标

  • 熟悉FasterRCNN目标检测的思想
  • 知道anchor（锚框）的思想
  • 掌握RPN网络是如何进行候选区域的生成的
  • 掌握ROIPooling的使用方法
  • 知道fasterRCNN的训练方法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1UdoCSjs-1646211351944)(笔记图片/image-20200914143645050-16461195891481.png)]

在R-CNN和Fast RCNN的基础上，在2016年提出了Faster RCNN网络模型，在结构上，Faster RCNN已经将候选区域的生成，特征提取，目标分类及目标框的回归都整合在了一个网络中，综合性能有较大提高，在检测速度方面尤为明显。接下来我们给大家详细介绍fasterRCNN网络模型。网络基本结构如下图所示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QUsfQfIJ-1646211351945)(笔记图片/image-20200914161108604.png)]

Faster RCNN可以看成是区域生成网络(RPN)与Fast RCNN的组合，其中区域生成网络(RPN)替代选择性搜索来生成候选区域，Fast RCNN用来进行目标检测。

网络工作流程

FasterRCNN的工作流程是：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kaa5OxJX-1646211351945)(笔记图片/image-20201230100055563.png)]

1、特征提取：将整个图像缩放至固定的大小输入到CNN网络中进行特征提取，得到特征图。

2、候选区域提取：输入特征图，使用区域生成网络RPN，产生一些列的候选区域

3、ROIPooling: 与Fast RCNN网络中一样，使用最大池化固定候选区域的尺寸，送入后续网络中进行处理

4、目标分类和回归：与Fast RCNN网络中一样，使用两个同级层:K+1个类别的SoftMax分类层和边框的回归层，来完成目标的分类和回归。

Faster R-CNN的流程与Fast R-CNN的区别不是很大，重要的改进是使用RPN网络来替代选择性搜索获取候选区域，所以我们可以将Faster R-CNN网络看做RPN和Fast R-CNN网络的结合。

接下来我们来看下该网络预训练模型的使用过程，模型源码位置：fasterRCNN中，如下图所示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oFFSwLds-1646211351946)(笔记图片/image-20201230104009045.png)]

detection文件夹中是模型，数据的实现，weights中包含网络的预训练模型。接下来我们按照以下步骤进行目标检测：

1、获取数据和加载预训练网络

2、获取RPN网络生成的候选区域

3、获取网络的目标检测结果

首先导入相应的工具包：

# 获取VOC数据使用
from detection.datasets import pascal_voc
# 绘图
import matplotlib.pyplot as plt
import numpy as np
# 模型构建
from detection.models.detectors import faster_rcnn
import tensorflow as tf
# 图像展示
import visualize

遇到的问题1：ModuleNotFoundError: No module named ‘cv2’

解决方法：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python

遇到问题2：ModuleNotFoundError: No module named ‘skimage’

解决办法：pip install scikit-image

另外每次pip install 都会特别慢，我找到一些办法可以参考：

https://blog.csdn.net/yang5915/article/details/83175804

https://waple.blog.csdn.net/article/details/104574277

确实下载快了许多！！！

数据加载

加载voc数据集中的一张图片进行网络预测：

# 实例化voc数据集的类，获取送入网络中的一张图片
pascal = pascal_voc.pascal_voc("train")
# image：送入网络中的数据，imagemeta:图像的yuan'x
image,imagemeta,bbox,label = pascal[218]

在将图像送入网络之前，我们对其进行了尺度的调整，标准化等处理，获取可展示的图像：

# 图像的均值和标准差
img_mean = (122.7717, 115.9465, 102.9801)
img_std = (1., 1., 1.)
# RGB图像
rgd_image= np.round(image+img_mean).astype(np.uint8)

获取原始图像，进行比较：

# 获取原始图像
from detection.datasets.utils import get_original_image
ori_img = get_original_image(image[0],imagemeta[0],img_mean)

将图像进行对比显示：

# 展示原图像和送入网络中图像
rgd_image= np.round(image+img_mean).astype(np.uint8)
fig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(ori_img.astype('uint8'))
axes[0].set_title("原图像")
axes[1].imshow(rgd_image[0])
axes[1].set_title("送入网络中的图像")
plt.show()

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R8BZI7Ec-1646211351946)(笔记图片/image-20201230112653308.png)]

将原图像的长边缩放为1216，短边按相应比例进行调整后，并按照均值进行填充

# 原图像的大小
ori_img.shape

(375, 500, 3)

# 送入网络中图像的大小
image.shape

(1, 1216, 1216, 3)

imagemeta中的信息是：原图像大小，图像缩放后的大小，送入网络中图像的大小，图像缩放比例，图像是否翻转（未使用）。

# 原始图像和送入网络中图像的信息imagemeta

array([[ 375.   ,  500.   ,    3.   ,  912.   , 1216.   ,    3.   ,        1216.   , 1216.   ,    3.   ,    2.432,    0.   ]], dtype=float32)

模型加载

加载使用coco数据集预训练的模型，对图像进行预测。

# coco数据集的class，共80个类别：人，自行车，火车，。。。
classes = ['bg', 'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus', 'train', 'truck', 'boat', 'traffic light', 'fire hydrant', 'stop sign', 'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow', 'elephant', 'bear', 'zebra', 'giraffe', 'backpack', 'umbrella', 'handbag', 'tie', 'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball', 'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard',
           'tennis racket', 'bottle', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl', 'banana', 'apple', 'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza', 'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed', 'dining table', 'toilet', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone', 'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'book', 'clock', 'vase', 'scissors', 'teddy bear', 'hair drier', 'toothbrush']

实例化faster-RCNN模型：

# 实例化模型
model = faster_rcnn.FasterRCNN(num_classes=len(classes))

加载预训练模型，由于fasterRCNN不是按照model的子类构建，所以无法通过h5文件直接加载模型结构，我们将结构实例化后，在加载权重获取整个预训练模型。

model((image,imagemeta,bbox,label),training=True)
# 加载训练好的weights
model.load_weights("weights/faster_rcnn.h5")

通过model.summary()查看网络架构，如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L57sv2aF-1646211351947)(笔记图片/image-20201230114319613.png)]

模型预测过程

模型的预测分为两部分：RPN生成候选区域和Fast RCNN进行目标的分类与回归

RPN获取候选区域
# RPN获取候选区域：输入图像和对应的元信息，输出是候选的位置信息proposals = model.simple_test_rpn(image[0],imagemeta[0])

候选区域的结果如下所示：对于上述图像共产生1533个候选区域，每个候选区域使用相对于输入网络中图像归一化后的左上角坐标和右下角坐标。

<tf.Tensor: shape=(1533, 4), dtype=float32, numpy=array([[0.20729761, 0.00852748, 0.748096  , 0.46975034],       [0.42213044, 0.5887971 , 0.7810232 , 0.9806169 ],       [0.40125194, 0.4384725 , 0.48458642, 0.47913405],       ...,       [0.25977597, 0.435113  , 0.27290097, 0.4483906 ],       [0.38884488, 0.41798416, 0.41393432, 0.4339822 ],       [
最低0.47元/天 解锁文章

新学期VIP享超值加赠
FasterRCNN理解
qq_33287871的博客
10-04 1260
RCNN系列的内容已经有非常多同学分享出来了，大多也非常详细。为了避免在长文中迷失方向，这里做个精简版的总结，记录个人的理解。主要是概括算法流程以及特点，方便回顾。先简单介绍下RCNN和Fast RCNN，在详细记录faster rcnn的RPN网络的理解。 RCNN: 流程 （1）. 采用传统方法Selective Search产生目标候选框 （2）. 对每个候选框，用深度卷积神经网络提取特征得到feature map （3）. 每个框得到的feature map喂给SVM分类器，并通过线性回归调整bo
Faster RCNN总结（优缺点说明）
weixin_45564943的博客
12-16 1万+
# 两种特殊卷积：转置卷积和空洞卷积 [TOC] ![image-20211211175809006](https://gitee.com/aaalds/aaalds_note/raw/master/image-20211211175809006.png) ## 1.转置卷积 ##### 简介： ​ 我们一般可以通过卷积操作来实现高维特征到低维特征的转换。比如在一 维卷积中，一个5维的输入特征，经过一个大小为3的卷积核，其输出为3维特征。 如果设置步长大于1，可以进一步降低输出特征的...
【目标检测】Faster RCNN算法详解
热门推荐
shenxiaolu1984的专栏
04-21 25万+
继RCNN，fast RCNN之后，目标检测界的领军人物Ross Girshick在2015年提出faster RCNN。目标检测速度达到15fps。
目标检测 Faster-RCNN网络
mengxianglong123的博客
07-12 4019
在R-CNN和Fast RCNN的基础上，在2016年提出了Faster RCNN网络模型，在结构上，Faster RCNN已经将候选区域的生成，特征提取，目标分类及目标框的回归都整合在了一个网络中，综合性能有较大提高，在检测速度方面尤为明显。接下来我们给大家详细介绍fasterRCNN网络模型。网络基本结构如下图所示：Faster RCNN可以看成是区域生成网络(RPN)与Fast RCNN的组合，其中区域生成网络(RPN)替代选择性搜索来生成候选区域，Fast RCNN用来进行目标检测。FasterRC
深入理解R-CNN、Fast R-CNN与Faster R-CNN
最新发布
weixin_36149538的博客
07-13 970
在深度学习发展之前，传统机器学习方法已经在物体检测领域取得了进展，但存在诸如特征提取复杂、类别泛化能力有限等问题。随着卷积神经网络（CNN）技术的突破，物体检测技术迎来了一场革命。深度学习在图像特征学习方面具有显著优势，使得物体检测从手工特征提取过渡到了端到端的自动特征提取。
目标检测 | R-CNN、Fast R-CNN与Faster R-CNN理论讲解
houjingchuan的博客
05-29 8924
目标检测：R-CNN、Fast R-CNN与Faster R-CNN理论讲解，根据B站up霹雳吧啦Wz总结。此文章包含R-CNN算法原理讲解、Fast R-CNN算法原理讲解、Faster R-CNN原理讲解、目标检测评价指标介绍与特征金字塔网络FPN讲解。
Faster R-CNN
HY的博客
10-28 6038
上文提到的k就是anchors的数量，所以2k个分数就是9个anchors的共18个分数，36（4×9）个坐标。这个2k score只区分是不是目标，输出候选区域属于前景（物体）和背景的分数，这里注意，这里的分类只区分是否包含目标，至于所包含目标的类别，是Faster-RCNN最后的分类网络干的事情。由于是2分类（有无物体两种分类），所以它的维度是2k score（2个分数）。2k score，因为RPN是提候选框，还不用判断类别，所以只要求区分是不是物体就行，2个分数：前景（物体）的分数，和背景的分数；
基于Faster-RCNN网络模型的车辆行人及交通信号目标检测算法python源码+数据集+项目报告
03-13
基于Faster-RCNN网络模型的车辆行人及交通信号目标检测算法python源码+数据集+项目报告，该项目是个人毕设项目，答辩评审分达到98分，代码都经过调试测试，确保可以运行！欢迎下载使用，可用于小白学习、进阶。该...
faster-rcnn权重文件vgg16-caffe
02-28
总之，"faster-rcnn权重文件vgg16-caffe"涉及到的是深度学习中的目标检测技术，具体是Faster R-CNN模型与VGG16网络的结合，使用CAFFE框架实现，并且提供了预训练的权重以供使用。这一资源对于研究者和开发者来说是...
Faster-RCNN源码及其代码实现.zip
08-10
这个压缩包文件" Faster-RCNN源码及其代码实现.zip"包含了一些关键组件和资源，可以帮助我们理解并实现Faster R-CNN。 1. **Faster R-CNN架构**：Faster R-CNN由两大部分组成：区域提议网络（Region Proposal ...
faster rcnn
07-20
faster
目标检测模型-Faster-RCNN模型-Pytorch版本
05-13
Faster R-CNN在目标检测领域具有里程碑意义，因为它将区域建议网络（Region Proposal Network，RPN）与卷积神经网络（CNN）结合起来，实现了端到端的检测流程，极大地提高了检测速度和准确性。 以下是Faster R-CNN...
py-faster-rcnn-windows-master.zip
11-26
Faster R-CNN（快速区域卷积神经网络）是2015年由Ross Girshick等人提出的一种目标检测算法，它引入了区域提议网络（Region Proposal Network, RPN），将目标检测过程中的目标提议和分类两个步骤统一到一个端到端的...
Faster R-CNN 图解
复兴之矢
02-21 4480
作者：晓雷 链接：https://zhuanlan.zhihu.com/p/24916624 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Fast-RCNN基本实现端对端（除了proposal阶段外），下一步自然就是要把proposal阶段也用CNN实现（放到GPU上）。这就出现了Faster-RCNN，一个完全end-to-end的CNN对象检测
Faster-RCNN
椰子奶糖的博客
06-12 614
Faster-RCNN 文章目录Faster-RCNN参考IntroductionRelated WorkFaster RCNN 参考 一文读懂Faster RCNN 从编程实现角度学习Faster R-CNN（附极简实现 simple-faster-rcnn-pytorch Faster R-CNN细节详解 深度学习: translation invariant (平移不变性) Introduction 指出proposals（候选去）的方式（如SS选2k区域）是当前检测速度的瓶颈。 提出RPN思想
tensorflow目标检测 faster-rcnn网络数据下载
10-31
在下载faster-rcnn的数据前，我们首先需要安装tensorflow和其他相关库。我们可以通过以下命令来安装tensorflow： ``` pip install tensorflow ``` 安装完成后，我们可以通过以下步骤来下载faster-rcnn网络的数据。 1. 首先，我们需要下载COCO（Common Objects in Context）数据集，它是一个用于目标检测和图像分割任务的广泛使用的数据集。可以通过以下链接下载COCO数据集： ``` http://cocodataset.org/#download ``` 2. 然后，我们需要下载用于训练faster-rcnn网络的预训练模型。可以通过以下链接下载预训练模型： ``` https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/detection_model_zoo.md ``` 在这个链接的页面中，你会看到各种模型的下载链接。可以根据自己的需求选择一个适合的模型进行下载。 3. 下载完成后，我们可以将下载的COCO数据集和预训练模型放在我们的工作目录中。 现在，我们已经完成了faster-rcnn网络数据的下载。接下来，我们可以开始使用这些数据来训练我们自己的目标检测模型了。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值