基于图神经网络的节点表征学习

最新推荐文章于 2023-04-08 23:51:49 发布

原创

最新推荐文章于 2023-04-08 23:51:49 发布 · 542 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch

1. 引言

在图节点预测或边预测任务中，首先需要生成节点表征（Node Representation）。我们使用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征。高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。

以Cora 数据集为例实现多层图神经网络。Cora 是一个论文引用网络，节点代表论文，如果两篇论文存在引用关系，则对应的两个节点之间存在边，各节点的属性都是一个1433维的词包特征向量。我们的任务是预测各篇论文的类别（共7类）。我们还将对MLP和GCN, GAT（两个知名度很高的图神经网络）三类神经网络在节点分类任务中的表现进行比较分析，以此来展现图神经网络的强大和论证图神经网络强于普通深度神经网络的原因。

2. 准备工作

2.1 获取并分析数据集

from torch_geometric.datasets import Planetoid
from torch_geometric.transforms import NormalizeFeatures

dataset = Planetoid(root='dataset/Cora', name='Cora',transform=NormalizeFeatures())

print()
print(f'Dataset: {
     
     dataset}:')
print('======================')
print(f'Number of graphs: {
     
     len(dataset)}')
print(f'Number of features: {
     
     dataset.num_features}')
print(f'Number of classes: {
     
     dataset.num_classes}')

data = dataset[0]  # Get the first graph object.

print()
print(data)
print('======================')

# Gather some statistics about the graph.
print(f'Number of nodes: {
     
     data.num_nodes}')
print(f'Number of edges: {
     
     data.num_edges}')
print(f'Average node degree: {
     
     data.num_edges / data.num_nodes:.2f}')
print(f'Number of training nodes: {
     
     data.train_mask.sum()}')
print(f'Training node label rate: {
     
     int(data.train_mask.sum()) / data.num_nodes:.2f}')
print(f'Contains isolated nodes: {
     
     data.contains_isolated_nodes()}')
print(f'Contains self-loops: {
     
     data.contains_self_loops()}')
print(f'Is undirected: {
     
     data.is_undirected()}')

在这里插入图片描述
Cora图拥有2,708个节点和10,556条边，平均节点度为3.9，训练集仅使用了140个节点，占整体的5%。我们还可以看到，这个图是无向图，不存在孤立的节点。

数据转换（transform）在将数据输入到神经网络之前修改数据，这一功能可用于实现数据规范化或数据增强。在此例子中，我们使用NormalizeFeatures进行节点特征归一化，使各节点特征总和为1。其他的数据转换方法请参阅torch-geometric-transforms。

3. 使用MLP神经网络进行节点分类

理论上，我们应该能够仅根据文章的内容，即它的词包特征表征（bag-of-words feature representation）来推断文章的类别，而无需考虑文章之间的任何关系信息。接下来，让我们通过构建一个简单的MLP神经网络来验证这一点。此神经网络只对输入节点的表征做变换，它在所有节点之间共享权重。

3.1 MLP神经网络的构造

import torch
from torch.nn import Linear
import torch.nn.functional as F

class MLP(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(MLP, self).__init__()
        torch.manual_seed(12345)
        self.lin1 = Linear(dataset.num_features, hidden_channels)
        self.lin2 = Linear(hidden_channels, dataset.num_classes)

    def forward(self, x):
        x = self.lin1(x)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.lin2(x)
        return x

model = MLP(hidden_channels=16)
print(model)

在这里插入图片描述
我们的MLP由两个线性层、一个ReLU非线性层和一个dropout层组成。第一个线性层将1433维的节点表征嵌入（embedding）到低维空间中（hidden_channels=16），第二个线性层将节点表征嵌入到类别空间中（num_classes=7）。

3.2 MLP神经网络的训练

利用交叉熵损失和Adam优化器来训练这个简单的MLP神经网络。

model = MLP(hidden_channels=16)
criterion = torch.nn.CrossEntropyLoss()  # Define loss criterion.
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)  # Define optimizer.

def train():
    model.train()
    optimizer.zero_grad()  # Clear gradients.
    out = model(data.x)  # Perform a single forward pass.
    loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
    loss.backward()  # Derive gradients.
    optimizer.step()  # Update parameters based on gradients.
    return loss

for epoch in range(1, 201):
    loss = train()
    print(f'Epoch: {
     
     epoch:03d}, Loss: {
     
     loss:.4f}')

在这里插入图片描述

3.3 MLP神经网络的测试

训练完模型后，我们可以通过测试来检验这个简单的MLP神经网络在测试集上的表现。

def test():
    model.eval()
    out = model(data.x)
    pred = out.argmax(dim=1)  # Use the class with highest probability.
    test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
    test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
    return test_acc

test_acc = test()
print(f'Test Accuracy: {
     
     test_acc:.4f}')

在这里插入图片描述
MLP表现相当糟糕，只有大约59%的测试准确性。
一个重要原因是，用于训练此神经网络的有标签节点数量过少，此神经网络被过拟合，它对未见过的节点泛化能力很差。

4. 卷积图神经网络（GCN）

4.1 GCN的定义

GCN 来源于论文“Semi-supervised Classification with Graph Convolutional Network”，其数学定义为， $\mathbf{X}^{\prime} = \mathbf{\hat{D}}^{-1/2} \mathbf{\hat{A}} \mathbf{\hat{D}}^{-1/2} \mathbf{X} \mathbf{\Theta},$ 其中 $\mathbf{\hat{A}} = \mathbf{A} + \mathbf{I}$ 表示插入自环的邻接矩阵（使得每一个节点都有一条边连接到自身）， $\hat{D}_{ii} = \sum_{j=0} \hat{A}_{ij}$ 表示 $\mathbf{\hat{A}}$ 的对角线度矩阵（对角线元素为对应节点的度，其余元素为0）。邻接矩阵可以包括不为 $1$ 的值，当邻接矩阵不为{0,1}值时，表示邻接矩阵存储的是边的权重。 $\mathbf{\hat{D}}^{-1/2} \mathbf{\hat{A}} \mathbf{\hat{D}}^{-1/2}$