3D点云的深度学习

使用卷积神经网络（CNN）架构的深度学习（DL）现在是解决图像分类任务的标准解决方法。但是将此用于处理3D数据时，问题变得更加复杂。首先，可以使用各种结构来表示3D数据，所述结构包括：

1 体素网格
2 点云
3 多视图
4 深度图

对于多视图和深度图的情况，该问题被转换为在多个图像上使用2D CNN解决。通过简单定义3D卷积核，可以将2D CNN的扩展用于3D Voxel网格。但是，对于3D点云的情况，目前还不清楚如何应用DL工具。但是之前也已经有几种解决办法了，具体可以参看 http://www.cnblogs.com/li-yao7758258/p/8182846.html 的总结

以及最近山东大学研究者们提出的PointCNN，对于pointCNN 这篇论文是一种为基于点云的特征学习提出了一种简单且通用的框架。CNN成功的关键是要能利用数据中以网格形式密集表示的空间上的局部相关性（比如图像）。但是，点云是不规则和无序的，因此在这些点关联的特征上直接求核的卷积会导致形状信息的丢失，同时还会因顺序不同而不同。为了解决这些问题，提出了根据输入点学习一种X变换，然后将其用于同时加权与点关联的输入特征和将它们重新排列成潜在隐含的规范顺序，之后再在元素上应用求积和求和运算。我们提出的方法是典型CNN向基于点云的特征学习的泛化，因此将其称为PointCNN。实验表明，PointCNN能在多种有挑战性的基准数据集和任务上实现与之前最佳方法媲美或更好的表现。