知识图谱的表示学习方法：从神经网络到流形表示

### 知识图谱的表示学习方法：从神经网络到流形表示 #### 1. 神经网络表示方法 随着神经网络的发展，人们开始探索利用神经网络对知识图谱（KGs）进行建模。以下介绍几种基于神经网络的知识图谱表示方法。 ##### 1.1 单层模型（Single Layer Model, SLM） SLM受先前知识图谱表示工作的启发，将实体和关系都表示在低维空间中，并使用特定关系矩阵将实体投影到关系空间。其得分函数为： \[f (h, r, t) = r^{\top}\tanh(M_{r,1}h + M_{r,2}t)\] 其中，\(h,t \in \mathbb{R}^{d_e}\) 表示头实体和尾实体的嵌入，\(r \in \mathbb{R}^{d_r}\) 表示关系嵌入，\(M_{r,1}, M_{r,2} \in \mathbb{R}^{d_e \times d_r}\) 是特定关系矩阵。 ##### 1.2 神经张量网络（Neural Tensor Network, NTN） 虽然SLM引入了关系嵌入和非线性神经层来构建得分函数，但其表示能力仍有限。NTN通过在SLM框架中引入张量，可视为SLM的增强版本。除了将实体投影到关系空间的原始线性神经网络层外，NTN还增加了一个基于张量的神经层，将头实体和尾实体的嵌入与特定关系张量相结合。其得分函数为： \[f (h, r, t) = r^{\top}\tanh(h^{\top}\overrightarrow{M}_rt + M_{r,1}h + M_{r,2}t + b_r)\] 其中，\(\overrightarrow{M}_r \in \mathbb{R}^{d_e \times d_e \times d_r}\) 是一个三维特定关系张量，\(b_r\) 是偏置，\(M_{r,1}, M_{r,2} \in \mathbb{R}^{d_e \times d_r}\) 是特定关系矩阵。若将张量和偏置设为零，SLM可视为NTN的简化版本。 此外，NTN还尝试利用实体名称中的潜在文本信息，并取得了显著改进。与之前为每个实体提供一个向量的方法不同，NTN将每个实体表示为其名称的词嵌入的平均值。例如，实体“Bengal tiger”将表示为“Bengal”和“tiger”的词嵌入的平均值。然而，NTN方法过于复杂，导致计算复杂度较高，大量参数也限制了其在稀疏和大规模知识图谱上的性能。 ##### 1.3 神经关联模型（Neural Association Model, NAM） NAM采用多层非线性激活来建模关系，使用两种结构来表示知识图谱：深度神经网络（DNN）和关系调制神经网络（RMNN）。 - **NAM - DNN**：采用具有 \(L\) 层的多层感知机（MLP）来处理知识嵌入： \[z^k = \text{Sigmoid}(M^kz^{k - 1} + b^k), k = 1, \cdots, L\] 其中，\(z^0 = [h; r]\) 是 \(h\) 和 \(r\) 的拼接，\(M^k\) 是第 \(k\) 层的权重矩阵，\(b^k\) 是第 \(k\) 层的偏置向量。最终，NAM - DNN定义的得分函数为： \[f (h, r, t) = \text{Sigmoid}(t^{\top}z^L)\] - **NAM - RMNN**：除了NAM - DNN的操作外，还将关系嵌入 \(r\) 输入到模型中： \[z^k = \text{Sigmoid}(M^kz^{k - 1} + B^kr), k = 1, \cdots, L\] 其中，\(M^k\) 和 \(B^k\) 分别表示权重矩阵和偏置矩阵。最终，NAM - RMNN定义的得分函数为： \[f (h, r, t) = \text{Sigmoid}(t^{\top}z^L + B^{L + 1}r)\] ##### 1.4 二维卷积嵌入（Convolutional 2D Embeddings, ConvE） ConvE使用二维卷积操作对嵌入进行处理，以建模知识图谱。具体来说，ConvE使用卷积层和全连接层来建模实体和关系之间的交互。然后，将获得的特征展平并通过全连接层进行变换，最终特征与尾实体嵌入的内积用于构建得分函数： \[f (h, r, t) = N\left(\text{vec}\left(N\left([\overline{h}; \overline{r}] * \omega\right)\right)W\right) \cdot t\] 其中，\([\overline{h}; \overline{r}]\) 是 \(\overline{h}\) 和 \(\overline{r}\) 的拼接，\(N(\cdot)\) 是一个神经层，\(*\) 表示卷积运算符，\(\text{vec}(\cdot)\) 表示将矩阵压缩为向量。\(\overline{h}\) 和 \(\overline{r}\) 分别是 \(h\) 和 \(r\) 的二维重塑版本。在一定程度上，ConvE可视为基于HolE的改进模型，与HolE相比，ConvE采用多个神经层来学习非线性特征，因此更具表达能力。 ##### 1.5 关系图卷积网络（Relational Graph Convolutional Networks, RGCN） RGCN是图卷积网络（GCN）的扩展，用于建模知识图谱。其核心思想是将知识图谱建模形式化为消息传递。因此，在RGCN中，实体和关系的表示是多层信息传播和融合的结果。给定一个实体 \(h\)，其在第 \((k