提升神经机器翻译的句法感知及越南语文本摘要生成

### 提升神经机器翻译的句法感知及越南语文本摘要生成 #### 1. 神经机器翻译与图表示背景 神经机器翻译（NMT）当前采用编码器 - 解码器框架，经验上最可靠的基线NMT是Transformer。对于源语言句子 $W = w_1, w_2, ..., w_n$（$n$ 为标记数量），每个标记的嵌入为 $x_1 = Embedding(w_1)$。编码器和解码器是 $L$ 层编码器和解码器层的堆叠，编码器第 $t$ 层的输出是第 $t + 1$ 层的输入。预测序列 $\hat{Y} = Decoder(Encoder(X))$，我们希望预测句子 $\hat{Y}$ 接近真实句子 $Y$，以提高翻译质量。 然而，Encoder - Transformer的表达能力无法完全捕捉源语言的语义和结构信息，因为自注意力模块对数据结构没有假设。因此，提高整体翻译质量的常见方法是在编码器中使用图神经网络（GNNs），因为它们在编码器端应用启发式数据结构。而解码器更难修改且更僵化，因为解码步骤是自回归生成的，难以进行数据增强。目前的一个研究趋势是利用源语言的图信息，通过启发式地使用语义解析器将文本转换为语义或句法图，然后使用GNNs来丰富编码器的特征，从而提高整体翻译质量。 图表示方面，通用概念认知注释（UCCA）图表示为 $G = (V, E)$，其中 $V$ 是节点集，$E$ 是边集。节点 $v$ 的邻域定义为 $N(v) = \{u \in V | (v, u) \in E\}$，边 $e_{ij}$ 有标签 $l_{ij} \in L$（$L$ 是预定义的标签集）。依赖解析图 $G$ 定义为 $G = (V, E, L)$，$V$ 是句子中所有节点（或单词）的集合，$E$ 是节点之间的边集，每条边 $e_{ij}$ 包含标签 $l_{ij} \in L$。 #### 2. 方法实现 ##### 2.1 图Transformer 图Transformer模仿Transformer的多头注意力机制，将节点嵌入转换为查询、键和值： \[ q_{i}^{(t)} = W_{q}^{(t)}x_{i}^{(t)} \] \[ k_{i}^{(t)} = W_{k}^{(t)}x_{i}^{(t)} \] \[ v_{i}^{(t)} = W_{v}^{(t)}x_{i}^{(t)} \] 其中 $W_{q}^{(t)}, W_{k}^{(t)}, W_{v}^{(t)} \in R^{D \times D}$ 是可训练参数，$D$ 是维度大小。 交叉注意力使用节点 $i$ 的查询 $q_{i}^{(t)}$、其邻节点 $j$ 的键/值对 $k_{j}^{(t)}/v_{j}^{(t)}$ 和边标签 $l_{ij}^{(t)}$ 来增强节点消息： \[ l_{ij}^{(t)} = W_{l}^{(t)}l_{ij}^{(t - 1)} \] \[ \alpha_{ij}^{(t)} = \frac{score(q_{i}^{(t)}, k_{j}^{(t)} + l_{ij}^{(t)})}{\sum_{u \in N(i)} score(q_{i}^{(t)}, k_{u}^{(t)} + l_{iu}^{(t)})} \] 其中 $score(a, b) = exp(q^Tk / \sqrt{d})$ 是缩放点积注意力，用于计算注意力得分。图Transformer对邻居消息进行求和聚合： \[ m_{i}^{(t)} = \sum_{j \in N(i)} \alpha_{ij}^{(t)}(v_{j}^{(t)