https://mp.weixin.qq.com/s?__biz=MzIyNDY5NjEzNQ==&mid=2247491631&idx=1&sn=dfa36e829a84494c99bb2d4f755717d6&chksm=e809a207df7e2b1117578afc86569fa29ee62eb883fd35428888c0cc0be750faa5ef091f9092&mpshare=1&scene=23&srcid=1026NUThrKm2Vioj874F3gqS&sharer_sharetime=1635227630762&sharer_shareid=80f244b289da8c80b67c915b10efd0a8#rd
本文是对架构方向10篇的阅读笔记：
- Semi-Supervised Classification with Graph Convolutional Networks. Thomas N. Kipf, Max Welling. NeuIPS'17.
- Graph Attention Networks. Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio. ICLR'18.
- Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering. NeuIPS'16.
- Predict then Propagate: Graph Neural Networks meet Personalized PageRank. Johannes Klicpera, Aleksandar Bojchevski, Stephan Günnemann. ICLR'19.
- Gated Graph Sequence Neural Networks. Li, Yujia N and Tarlow, Daniel and Brockschmidt, Marc and Zemel, Richard. ICLR'16.
- Inductive Representation Learning on Large Graphs. William L. Hamilton, Rex Ying, Jure Leskovec. NeuIPS'17.
- Deep Graph Infomax. Petar Veličković, William Fedus, William L. Hamilton, Pietro Liò, Yoshua Bengio, R Devon Hjelm. ICLR'19.
- Representation Learning on Graphs with Jumping Knowledge Networks. Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, Stefanie Jegelka. ICML'18.
- DeepGCNs: Can GCNs Go as Deep as CNNs?. Guohao Li, Matthias Müller, Ali Thabet, Bernard Ghanem. ICCV'19.
- DropEdge: Towards Deep Graph Convolutional Networks on Node Classification. Yu Rong, Wenbing Huang, Tingyang Xu, Junzhou Huang. ICLR'20
目录
一、GCN 基于图卷积网络的半监督分类 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
二、GAT 图注意力网络 Graph Attention Networks
三、具有快速局部谱滤波的图上的卷积神经网络 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
四、预测后传播：图神经网络满足个性化PageRank PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK
五、门控图序列神经网络 GATED GRAPH SEQUENCE NEURAL NETWORKS
六、GraphSAGE大型图的归纳表示学习 Inductive Representation Learning on Large Graphs
八、JK Representation Learning on Graphs with Jumping Knowledge Networks
九、DeepGCNs: Can GCNs Go as Deep as CNNs?
十、DROPEDGE: TOWARDS DEEP GRAPH CONVOLUTIONAL NETWORKS ON NODE CLASSIFICATION
一、GCN 基于图卷积网络的半监督分类 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
提出了一种全新的基于图结构的半监督学习方法，使用谱图理卷积的局域近似一阶进行卷积，模型在图的边数中线性缩放，并学习同时编码局部图结构和节点特征的隐含层表示
1 INTRODUCTION
- 图半监督学习：对图(如引文网络)中的节点(如文档)进行分类的问题，其中标签只对一小部分节点可用
- 传统的拉普拉斯正则项：
- 依赖于图中连接的节点可能共享相同标签的假设。然而，这种假设可能会限制建模能力，因为图的边不一定需要编码节点相似性，但可以包含附加信息
- 本文改进：
- 直接使用神经网络模型𝑓(𝑋,𝐴)对图结构进行编码
- 对所有带标签的节点在有监督的目标𝐿0上进行训练，从而避免了损失函数中显式的基于图的正则化。
- 图的邻接矩阵上的条件𝑓(·)将允许模型分发来自监督损失𝐿0的梯度信息，并将使其能够学习带和不带标签的节点的表示
2 FAST APPROXIMATE CONVOLUTIONS ONGRAPHS 关于图的快速近似卷积
- 分层传播规则的多层图卷积网络(GCN）
- 这种传播规则的形式可以通过图上的局域谱滤波的一阶近似来实现
谱图卷积
- 图上的谱卷积，计算量大，最后与U相乘需要𝑂(𝑛2)
- 近似：可以用切比雪夫多项式的截断展开式很好地逼近，复杂度降为𝑂(𝐸)
分层线性模型
- 让K近似为1，变为分层模型，然后可通过层的堆叠实现丰富的卷积滤波函数
- 进一步让𝜆𝑚𝑎𝑥≈2, 神经网络参数将在训练期间适应这种规模的变化
- 进一步减少参数：
得到最后的公式，Z为输出，Θ为可训练参数
3 SEMI-SUPERVISED NODE CLASSIFICATION
- 首先计算出来
- 然后进行两层的分层线性模型
- 𝑤0为input-hidden， 𝑊1为hidden-output
二、GAT 图注意力网络 Graph Attention Networks
两种解释：
- 将注意力机制引入到图中
- 对特征X的再参数化(使用矩阵W对h进行的)
注意力机制（打分函数）：
更新节点特征
- 多头注意力的两种方式（拼接与平均）
三、具有快速局部谱滤波的图上的卷积神经网络 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
1 Introduction
- 将CNN推广到图的主要瓶颈：定义便于评估和学习的局部化图过滤器，也是本文的贡献
- 谱图理论的公式
- 严格的局部的滤波器：光谱滤波器可以被证明严格地局限在半径K的球体中，即从中心顶点开始的K跳
- 低计算复杂度
- 高效的池化
2 Proposed Technique
2.1 Learning Fast Localized Spectral Filters
- 将CNN迁移到图中的三个步骤：
- 图上局部卷积的设计
- 将相似的顶点组合在一起的图粗化过程
- 以空间分辨率换取更高过滤器分辨率的图形池化操作
- 两种方法的问题：都可以通过对图滤波器参数的特殊选择来克服
- 空间卷积：通过有限大小的核提供滤波器定位
- 尽管空间域中的图形卷积是可以想象的，但它面临着匹配局部邻域的挑战
- 因此，从空间的角度看，图上的平移没有唯一的数学定义
- 谱方法：通过Kronecker增量，利用卷积定理，在图上提供了定义良好的定位算子[31]
- 然而，定义在谱域中的滤波器不是自然局部化的，计算代价高𝑂(𝑛2)
- 然而，定义在谱域中的滤波器不是自然局部化的，计算代价高𝑂(𝑛2)
- 空间卷积：通过有限大小的核提供滤波器定位
- 谱图公式
- 使用多项式参数化局部滤波器
- 滤波器的参数学习
2.2 Graph Coarsening
- 图池化需要有意义的领域，因此需要聚类操作，而图聚类是NP问题，因此需要近似方法
- 多级聚类算法，其中每个级别生成一个更粗糙的图，该图对应于以不同分辨率看到的数据域。在每个级别将图表大小减少2倍的群集技术提供了对粗化和池化大小的精确控制
- Graclus的贪婪规则，一种非常快速的粗化方案，它将节点数从一个级别除以大约两个(可能存在一些单独的、不匹配的节点)到下一个较粗糙的级别。
- 在每个粗化级别选取未标记的顶点i，并将其与其未标记的邻居j之一进行匹配，从而最大化局部归一化切割𝑊𝑖𝑗(1/𝑑𝑖+1/𝑑𝑗)。
- 标记两个匹配的顶点，并将粗化权重设置为其权重之和
- 重复匹配，直到遍历完所有节点
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
