在看大佬博客的时候,开篇看到了这句话:
卷积神经网络具有平移不变性,而图网络不具有该性质,因此不能直接做卷积操作。
虽然的确经常看见,但是确实不怎么明白这个平移不变性具体而言指的是什么性质。所以这里简单理解和总结下。
对于一幅图像,我们都知道可以使用3个通道以及固定大小的维度矩阵来表示,这里为了简化就考虑从图像可见本身出发(抽象为单通道的二维矩阵)。使用对于图像上的待检测的目标对象来说,对于这些点我们可以做一些平移、旋转、缩放等操作,最终不会影响对该目标对象的识别。这里的平移,也就是标题的平移不变性中的平移。平移对应这更加简单的变换,可以想象到对于图片中的目标对象,进行平移,还是可以识别出来对象。也就是我所理解的平移不变性。
在CNN中,使用卷积核来提取图片中特征,在图中平移卷积核+池化操作约等于平移不变性。
那为什么图网络不具有平移不变性呢?
不妨从类似的表示入手。
在图像中,每个点都有稳定的与之相接的四个点;在网络中,每个点的邻居的个数却是各不相同的。简单来说也就是图像中的结构是欧式空间的规则数据;在图网络中是非欧空间数据,是非规则数据。那么对于非欧空间数据,使用平移变化,那么多方向,该在哪个方向上做?当然这个不是重点,我的理解中,如果将图中一些节点平移后,那么必然丢失掉结构信息,那么对图的研究来说就是信息缺失,特征缺失。故而不具有平移不变性。