（阅读笔记）VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection

最新推荐文章于 2024-11-11 16:33:03 发布
原创 最新推荐文章于 2024-11-11 16:33:03 发布 · 248 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #自动驾驶

本文探讨了VoxelNet如何解决点云数据的不规则性和密集性问题，通过体素网格特征学习和稀疏卷积技术，实现了端到端的三维目标检测。VoxelNet贡献在于其体素特征编码VFE和三维RPN，以及对FasterRCNN的扩展。核心内容包括点云处理策略、特征学习网络和损失函数优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

VoxelNet

动机和贡献

  • 动机
    （1）点云特性：密度不均匀和不规则性
    （2）人工特征工程：具有场景局限性，不能学习特征不变性，复杂场景（自主导航）收效甚微；
    （3）直接消耗点云的工作：PointNet和PointNet++直接学习稀疏点云特征，但实验是处理的1k点的点云，实际点云密度远远大于这个，将导致巨额计算和内存开销。
    【研究方向：人工特征（鸟瞰投影）–>机器学习特征（体素网格特征）】

  • 贡献
    （1）提出了一种端到端可训练的基于点云的三维检测深度架构VoxelNet，直接操作稀疏的三维点，避免了手工特征工程引入的信息瓶颈。
    （2）我们提出了一种有效的实现体素网的方法（体素特征编码VFE），该方法既受益于稀疏点结构，又受益于体素网格上的高效并行处理。

VoxelNet网络

在这里插入图片描述

  1. 特征学习网络
    （1）3D体素网格拆分和点云分组（每个网格中的点不均匀）
    （2）随机抽样：我们从包含超过T个点的体素中随机抽取固定数量的点T。（两个目的：节省计算开销；减少体素间点的不平衡，减少了采样偏差，增加了训练的多样性。）
    （3）体素特征编码VFE：将每个点坐标重新表示为7维向量；FCN网络（线性层+BN+ReLU）；Maxout局部聚合；全局-局部的连接特征。（将不规则、稀疏的点云坐标表示为规则、稠密的点云-体素特征）
    在这里插入图片描述
  2. 稀疏卷积神经网络（跨连接、多尺寸感受野特征拼接）
    在这里插入图片描述
  3. 区域建议网络RPN
    【参考Faster RCNN的二维RPN，将其扩展至三维RPN，回归生成三维目标边界框。】
  • 三维边界框回归
    在这里插入图片描述
    在这里插入图片描述
  • 损失函数（正负样本分类损失+边界框回归损失）
    在这里插入图片描述
论文阅读笔记 | 三维目标检测——VoxelNet算法
Clichong
11-25 1345
以往的3d检测器都难免利用了手工设计特征(hand-crafted)，不够智能不能实现end-to-end地自动提取特征，而如果利用全部点云输入，处理点云可能搞到100k个点的数据可能会带来极大的计算量(其实这里是可以对输入进行采样的，不过对于一个大场景来说数据点确实有点大，这时候对点云量化确实是一个比较好的选择，具体需要结合特定的场景和数据量)。为此，VoxelNet提出一个端对端的3d检测器，对点云数据进行量化，避免复杂场景带来的高计算。 具体来说，VoxelNet将点云划分为等间距的3D体素，通过堆
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
wlw8023diya的博客
09-14 625
论文： 在3D点云中准确检测对象是自主导航，客房服务机器人和增强/虚拟现实的中心问题。为了将高度稀疏的LiDAR点云与区域提议网络（RPN）进行接口，大多数现有工作都集中在手工制作的特征表示上，例如鸟瞰图。在这项工作中，消除了对3D点云进行手动特征工程的需求，并提出了VoxelNet，这是一种通用的3D检测网络，它将特征提取和边界框预测统一为一个端到端可训练的单阶段深层网络。将点云转换为等距的3D体素，并通过新引入的体素特征编码（VFE）层将每个体素内的一组点转换为统一的特征表示。这样，点云被编码为描述性体
VoxelNet End-to-End
03-15
End-to-End Learning for Point Cloud Based 3D Object Detection
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection学习记录
qimingxia的博客
08-16 1260
VoxelNet: 基于点云三维目标检测的端到端学习网络一，简介二，要解决的问题三，核心思路总结 一，简介 VoxelNet: 一种通用的三维检测网络，将特征提取以及边界框预测联合在一个阶段，是一种端到端的可训练的深度网络。 具体而言，VoxelNet将点云划分为间隔相等的三维体素，并通过新引入的体素特征编码层（VFE），将每个体素内的一组点转换为一个统一的特征表示。点云被编码成描述性的体积表述，...
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection 论文笔记
Tianchao龙虾
04-17 556
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection 论文链接： https://arxiv.org/abs/1711.06396 一、 Problem Statement 2017年的论文。目前大部分工作都是对3D点云使用hand-crafted 特征工程，因此效率会比较低。而最近提出来的PointNet又要求高的计算能力和内存。RPN用于目标检测，但是其要求数据是稠密且是tensor结构的。 二、 Directio
论文记录VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
swaggywilliam的博客
10-21 176
2.point-wise input:把Vin中的每个点pi^送至fully connected network（FCN）中提取特征，实际上做了个升维操作，原本pi^长度为7，升维后变成了长度为C1，自此点也就变成了特征fi，tensor也从（N，35，7）变成了（N，35，C1）；1.预处理：找出V里面的质心点（vx,vy,vz)，计算其他点对质心的偏移offset，将V更新为Vin ，tensor从（N，35，4）变成了（N，35，7）；tensor为（N，35，4),N为非空体素个数。
[论文笔记] VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
pikachu_777的专栏
10-10 6450
VoxelNet 1. contribution 针对激光雷达获取的高数量级点云数据，提出了一个端到端的可训练深度网络架构，实现精度较高的物体检测任务。 将稀疏的点云数据转化为稠密的体素（voxel）张量，能够进行GPU加速。 2. 网络架构 网络架构分为三层： 特征提取层：将点云划分为voxel形式，使用层级的VFE层提取特征，得到稀疏的voxel-wise特征张量。 中间卷积层：使用3...
Frustum PointNets for 3D Object Detection from RGB-D Data 原文 + 阅读笔记
friwang的博客
07-30 1272
Abstract In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and inva...
3D Object Detection经典论文整理【分类/下载/代码/笔记】
u013086672的博客
01-10 4198
笔者分类整理了与三维目标检测有关的经典论文和部分最新论文的PDF下载链接、开源代码、阅读笔记（部分）。笔者认为的必读经典论文通过加粗标识。论文主要按照Point-based和Voxel-based来划分，还包括一些交叉领域新的方向，比如Transformer、Self-ensembling等。
【FAS Survey】《Deep learning for face anti-spoofing: A Survey》
bryant_meng
01-31 1465
PAMI-2022最新成果：https://github.com/ZitongYu/DeepFAS。
论文总结--VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
最新发布
m0_60799447的博客
11-11 1239
这篇论文介绍了，一种针对LiDAR点云数据的端到端训练的3D物体检测方法。该方法解决了传统方法中对于点云特征工程的依赖，通过自学习的方式进行特征提取和3D目标检测。
【3D目标检测】VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
可乐大牛的博客
10-09 1210
首先，本文是基于点云，并且将点云处理成体素的3D目标检测网络。本文提出了一种基于体素的特征提取方法，将点云中点的信息与体素代表的局部信息融合，最终得到更具有表征能力的特征，该特征经过3D卷积用于RPN网络中得到目标检测的结果。
VoxelNet：End-to-End Learning for Point Cloud Based 3D Object Detection
dydwl的博客
01-23 455
声明 原文链接 摘要 为了将高度稀疏的LiDAR点云与区域提案网络（RPN）连接起来，大多数现有的工作都集中在手工制作的特征表示上，用于检查鸟瞰投影。本文消除了对3D点云进行手动特征工程的需求，并提出了VoxelNet，这是一种通用的3D检测网络，可将特征提取和边界框预测统一到一个单级，端到端可训练的深度网络中。 VoxelNet将点云划分为等间距的3D体素，并通过新引入的体素特征编码（VFE）层将每个体素中的一组点转换为统一的特征表示。 通过这种方式，点云被编码为描述性的体积表示，然后将其连接到RPN以生
论文翻译 VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
Leeniux
08-10 1121
准确检测 3D 点云中的物体是许多应用的核心问题，例如自主导航、家政机器人。将高度稀疏的 LiDAR 点云与区域提议网络（RPN），在这项工作中，我们提出 VoxelNet，一个通用的 3D 检测网络， 将特征提取和边界框预测统一为一个单阶段、端到端的可训练深度网络。VoxelNet 将点云划分为等间距的 3D 体素，并通过引入体素特征编码（VFE）层转换每个体素内的一组点，引入的统一特征表示。这样，将点云编码为描述性体积表示，然后将其连接到RPN以生成检测。........................
【3D目标检测】VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection解读
毛毛的博客
03-22 773
文章目录前言摘要1. 介绍2.相关工作3. PIXOR 检测器4 结果5. 总结 前言 1. 为什么要做这个研究？ 2. 实验方法是什么样的？ 3. 得到了什么结果？ 摘要 VoxelNet是一种将特征提取和边界盒预测统一为一个单阶段、端到端可训练的3D检测网络。具体而言，VoxelNet将点云划分为等距的3D体素，采用VFE(voxel feature encoding)网络对每个体素内的点进行编码，然后将其连接到3D-RPN检测。该方法在KITTI car detection上取得了SOTA的效果。
VoxelNet：End_to_End Learning for Point Cloud Based 3D Object Detection 论文学习与解读
weixin_43508459的博客
10-22 1152
Introduction LiDAR（激光雷达）获取到的点云数据存在存在很高的随机点密度，这是由非均匀的3D空间采样，对一系列有效的传感器的遮盖和相关的动作。为了解决解决这个问题，很多方法采用人为手工制作点云的特征表现来用于3D物体识别。 然而手工的方法在获取3D类型信息和获取侦测任务所需的不变信息中会产生瓶颈 RPN Region Proposal Network，用于生成候选区域（Region Proposal） RPN 包括以下部分： 生成 anchor boxes（锚框） 判断每个 a
【3D目标检测】VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection论文综述（2017）
qq_42575422的博客
11-14 388
1、 为什么要做这个研究（理论走向和目前缺陷） ? 这时的基于3D CNN来做的3D目标检测体素化之后全都是手工设计特征表达，即体素网格中的点一般选取最高点z值、网格中数目等作为该体素网格表达，手工设计的特征表达往往有各种局限，没办法发挥数据本身的潜力。 2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ? VoxelNet是第一个采用学习的方式（pointnet）来进行体素网格中特征表达的网络，有效提升了每个体素网格中的特征表现力。实现过程中还有一些针对稀疏点云数据的trick，比如采用hash实
surface设备优化：linux-surface内核特性解析
Linux系统作为开源操作系统，在桌面端和服务器领域都有着广泛的应用，它支持多种硬件架构和设备，其中包括微软的Surface系列平板电脑和笔记本。linux-surface是一个专门为Surface设备定制的Linux内核项目，目的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值