自然语言处理中的词网扩展与参数调优算法

### 自然语言处理中的词网扩展与参数调优算法 #### 词网扩展的Lexical Activation Area Attachment Algorithm（LAAA） 在词网扩展的研究中，LAAA算法是一种有效的方法。该算法主要基于不同的知识源（KS），通过在局部词网子图中扩展支持来纠正错误，从而实现词网的扩展。 ##### 算法原理 - **知识源与关系**：知识源K是L × L × R类型的三元组集合，其中R是实数集。关系R′对应于R，B′中的关系不包含B中同义词集关系不支持的词对。 - **传递与阻抗**：传递用$f_T : (A ∪ B′) × R → R$表示，阻抗用$f_I : (A ∪ B′) × (A ∪ B′) × R → R$表示。 ##### 算法步骤 LAAA算法分为两个阶段： 1. **阶段一：词元 - 同义词集匹配度计算** - 输入：新的词元x。 - 参数：局部上下文大小rad，词元 - 同义词集匹配度的最小阈值min_fit，强匹配阈值strong_fit，向语言学家展示的最大建议义项数maxatt。 - 具体步骤： ```plaintext for each synset S: sum ← ∑(u∈S ∀k=1...size(K) W(k)K[k](x, fLem(u))) P ← paths_in(S, rad) for each p ∈ P: sum ← sum + fcnt(fit_trans(p, x), length(p)) fit[S, x] ← sum ``` 其中，`paths_in(S, rad)`返回在A ∪ B′上构建的路径集合，路径终点为S中的u且长度不超过rad；若两条路径始于同一个词元，只保留较短的或随机选择一条；路径类型为(J2)+，即链接表示为词元对。`fit_trans(p, x)`函数用于计算路径的匹配度传递值。 2. **阶段二：寻找激活区域和附着区域** - 选择同义词集关系的子集G（至少包括上位词和下位词关系）。 - 激活区域$Act(x) = \{S : S = \{S : S是同义词集 & fit[S, x] ≥ min_fit\} & S是关于G的连通子图\}$。 - 附着区域$Att(x)$通过选择激活区域中匹配度最高的maxatt个子图，以及匹配度超过强匹配阈值的所有子图得到。 ##### 实验设置 为了评估LAAA算法的性能，进行了相关实验。实验步骤如下： 1. 从词网中移除一个词样本，样本选择要求词的语料频率阈值为200，且与顶级同义词集至少有3个上位词链接。随机选择了1064个测试词。 2. 应用扩展算法重新附着这些词。 3. 构建建议同义词集与词网中原始位置之间路径长度的直方图，考虑最多5个链接的路径，包括上位/下位词链接和最多一个最终部分整体关系链接。 4. 应用三个评估标准：最近路径（关注最接近测试词原始位置的附着建议）、最强（考虑算法返回的最高得分建议）。 ##### 实验结果 | 方法 | Hits distance 0 | Hits distance 1 | Hits distance 2 | Hits distance 3 | Hits distance 4 | Hits distance 5 | Hits distan