FatNet: A Feature-attentive Network for 3D Point Cloud Processing论文笔记

一．摘要
深度学习在三维点云中的应用由于缺乏顺序性而具有挑战性。受PointNet的点嵌入和dgcnn的边缘嵌入的启发，我们对点云分析任务提出了三个改进。首先，我们引入了一种新的特征关注神经网络层FAT层，它结合了全局点特征和局部边缘特征来生成更好的嵌入。其次，我们发现在两种不同形式的特征聚合(最大池和平均池)中应用相同的注意力机制，可以获得比单独使用任何一种更好的性能。第三，我们观察到残差特征重用在此设置下更有效地在层间传播信息，使网络更容易训练。我们的体系结构在点云分类任务上取得了最先进的结果，如在ModelNet40数据集上所示，并在ShapeNet部分分割挑战上具有极具竞争力的性能。

二．论文创新点
1)提出了一种新的注意力注入层，即FAT层，用于3D点云处理，该层通过非线性加权优化结合了全局基于点的嵌入和局部基于边的嵌入。
2)对两种不同的特征聚合方法应用加权，这比单独聚合更好。
3)首次通过残差连接增强了处理三维点云的网络学习，并通过共享权重MLPs对嵌入维数进行提升。
4)一项广泛的评估显示了ModelNet40分类任务的最新结果，在ShapeNet零件分割任务上的高度竞争结果，以及对随机输入点丢失的卓越鲁棒性。消融研究证实了我们的网络组成部分的有效性。
三．网络结构
1.总体架构

网络概览：
（1）输入点云首先进入一个transformer net回归出一个3*3的加权参数阵，然后对原点云进行加权后输入接下来的一系列fat layer
（2）在fat layer之间进行残差传播时，传统映射方法不再适用（why），本文采用共享权重的MLP来进行残差
（3）在经过一系列fat layer特征提取后，将前几层特征与最后一层特征做了一个cat，然后进行aggregation，采用一个新颖的FatNet aggregation得到一个1024维的特征向量。

1.1FAT Transformer Net
fat