自动构建规则实现语义关系提取

# 自动构建规则实现语义关系提取 ## 1 引言 语义资源在信息检索、机器翻译等自然语言处理任务中非常有用。以往语义资源多为手动构建，如 WordNet 和 HowNet，但这种方式耗时、成本高且易受人为因素影响。因此，人们开发了许多自动提取语义关系的方法。 ### 1.1 自动提取语义关系的方法 - **句中两词语义关系识别**：通常两目标词间的词是关键信息，比如有人用核方法、基于模式的方法来识别关系。 - **词头与释义词语义关系识别**：以词典为来源，需考虑词在释义中的完整语境。在英语中，MindNet 是这方面的突出成果，它通过对宽覆盖解析器的结果应用规则生成。不过，优秀的句法解析器通常难以获取，也有人设计特殊解析器或使用字符串模式，但字符串模式难以充分表达复杂结构信息。 本文介绍一种利用自动构建的规则，从《现代汉语标准词典》（MCSD）中识别语义关系的方法，综合利用多种信息，统一不同类型信息的表示，避免滥用不可靠信息。 ## 2 识别方法 ### 2.1 特征 有五种类型的特征，包括单词、词性、句法信息、位置和已提取的语义关系，采用“特征 - 值”结构统一其表示。 #### 2.1.1 特征类型 - **定义词和词性**：与多数方法一样考虑，但不将定义词及其词性编码为单一单元特征，根据语料中单词的分布决定保留单词形式还是仅保留词性。 - **句法分析结果**：虽重要但可靠的句法解析器常难获取，使用依赖解析器，根据语料中句法分析结果的分布决定哪些句法信息有用，并进行进一步分析。 - **定义词的位置**：作为辅助策略，考虑句法解析器的不可靠性以及单词在不同句子中句法角色与位置的关系。 - **已提取的语义关系**：约一半提取的关系是上位词关系，精度为 95%（误差 ±5%，置信度 99.5%），采用两步通过策略，先识别上位词关系，再将其编码为特征用于第二步。 #### 2.1.2 统一表示 任何特征都附带从定义中得出的值，形成“特征 - 值”结构，候选词可附带一系列这样的结构，后续将“特征 - 值”结构视为特征。 ### 2.2 规则构建 #### 2.2.1 特征选择 为平衡精度和召回率，每个规则应提供高精度和可接受的召回率，所有规则整体提供良好的召回率。具体步骤如下： 1. 通过某种评估方式从候选词的特征中选择最佳特征，将候选词分为拥有该特征和不拥有该特征的两组。 2. 若前者精度高于预定义值，则构建新规则；否则，继续选择更多特征，将候选词进一步分组，直到精度可接受或所选特征数量超过预定义值则放弃。 3. 构建新规则后，移除满足该规则的候选词，重复此过程，直到没有新规则的精度高于预定义值。 #### 2.2.2 特征评估 不同评估方式对精度和召回率有不同倾向。本文实验中，信息增益和卡方统计通常召回率高但精度差，优势比精度高但召回率低。因此，选择信息增益评估规则的第一个特征，选择优势比评估规则的其余特征。 - 信息增益公式： - 熵公式：$Entropy(C) = -p_+log_2p_+ - p_-log_2p_-$，其中 $C$ 是候选词集合，$p_+$ 是与词头有目标关系的词的比例，$p_-$ 是其余词的比例。 - 信息增益公式：$InfoGain(C, F) = Entropy(C) - \sum_{v\in\{true,false\}}\frac{|C_v|}{|C|}Entropy(C_v)$，其中 $F$ 是特征，$C_{true}$ 是 $C$ 中具有特征 $F$ 的词的集合，$C_{false}$ 是 $C$ 中其余词的集合。 - 优势比公式：$OddsRatio(C, F) = log\frac{P(F|C_+)(1 - P(F|C_-))}{P(F