知识表示学习与知识引导的自然语言处理

### 知识表示学习与知识引导的自然语言处理 #### 1. 知识正则化 知识正则化旨在利用知识修改模型的目标函数，其目标函数形式如下： \[ \min_{f \in \mathcal{F}} \frac{1}{N} \sum_{i = 1}^{N} \mathcal{L}(y_i, f(x_i)) + \lambda_k \mathcal{L}_k(k, f(x_i)) + \lambda \mathcal{J}(f) \] 其中，\(\mathcal{L}_k(k, f(x_i))\) 是基于知识构建的额外预测目标和学习目标，\(\lambda_k\) 是控制知识损失项的超参数。 远程监督是一种利用外部知识启发式地标注语料库作为额外监督信号的代表性方法，广泛应用于关系提取（RE）和实体类型标注等重要信息提取任务的模型训练中。 知识引导的预训练模型（PTMs）也广泛使用知识正则化。以ERNIE为例，传统的PTMs如BERT虽能从文本中提取特征，但很少考虑融入外部知识。而ERNIE通过知识增强来扩充输入数据，具体做法是识别命名实体提及并将其与知识图谱（KGs）中的对应实体对齐，将实体表示作为额外输入特征。 ERNIE采用掩码语言建模和下一句预测作为预训练目标，还提出了去噪实体自动编码（DAE）方法，通过随机掩码文本中的提及 - 实体对齐，要求模型选择合适的实体来完成对齐，实现知识引导的语言建模。 除了ERNIE，还有其他知识正则化的代表性工作。例如，KEPLER将结构化知识融入预训练，通过编码实体的文本描述来学习知识图谱中实体和关系的结构化信息；WKLM提出类型约束的实体替换预训练目标，能准确学习文本相关知识并捕捉实体的类型信息。 #### 2. 知识转移 知识转移的目标是利用知识获得一个有知识的假设空间，降低搜索最优参数的成本，使训练有效模型更容易。主要有两种典型的知识转移方法： - 转移学习：将从有标签数据中学到的模型知识转移到下游特定任务模型。 - 自监督学习：将从未标记数据中学到的模型知识转移到下游特定任务模型。 其本质是利用先验知识约束假设空间，目标函数如下： \[ \min_{f \in \mathcal{F}_k} \frac{1}{N} \sum_{i = 1}^{N} \mathcal{L}(y_i, f(x_i)) + \lambda \mathcal{J}(f) \] 其中，\(\mathcal{F}_k\) 是知识引导的假设空间。 PTMs的微调阶段是知识转移的典型场景，可将预训练阶段获得的通用知识转移到特定任务。此外，除了微调，提示学习也被广泛探索。提示学习将下游任务转换为类似预训练目标的完形填空式任务，以更好地将PTMs的知识转移到下游任务。例如，在情感分类中，通过设计提示模板和标签词集，利用掩码语言建模进行分类。大型PTM GPT - 3展示了提示学习在各种语言理解和生成任务中的出色性能。 PTMs在推动模型知识的使用方面发挥着重要作用，还在一定程度上影响了自然语言处理中符号知识的使用范式。研究表明，PTMs能很好地记忆符号知识，并且可以从大规模非结构化数据中自发抽象知识，这对于进一步推进符号知识和模型知识的融合具有重要意义。 #### 3. 知识引导NLP的总结 知识对NLP模型的引导可分为以下四类： - 知识增强：引入知识扩充输入数据。 - 知识重构：设计特殊的模型模块与知识交互。 - 知识正则化：知识不直接干预模型的前向传播，而是作为正则化器。 - 知识转移：帮助缩小假设空间，实现更高效和有效的模型学习。 这些方法使知识能够有效地融入深度模型，让模型利用足够的知识（特别是符号知