波斯语统计解析中的词聚类方法

# 波斯语统计解析中的词聚类方法 ## 1. 斯坦福CoreNLP包的需求 在斯坦福CoreNLP包中，需要形态分词器和词形还原器。但目前该包缺乏针对波斯语的这些工具，因此解析器假定训练数据和测试数据都已完成分词和词形还原。不过，这些不足可能会影响解析器在实际应用中的性能。为使解析器能处理树库数据，需提供短语结构树中的中心词列表。为半自动定义波斯语的中心词，可从波斯语树库（PerTreeBank）中提取所有语法规则，并根据母节点的标签确定解析器所需的成分中心词。 ## 2. 波斯语树库 PerTreeBank是第一个波斯语树库，基于HPSG形式主义开发，可在线免费获取。开发该树库时未使用特征结构，但模拟了HPSG的基本属性。它包含来自Bijankhan语料库的1012棵树，通过自举方法半自动开发。该树库采用XML数据结构，提供了乔姆斯基语法中句子的短语结构树，明确了母节点关系中依赖关系的类型，如中心词 - 主语、中心词 - 补语、中心词 - 附加语和中心词 - 填充语，以绑定外置成分。此外，还通过nid节点明确确定了乱序或外置元素的规范位置，因此PerTreeBank提供了基于痕迹的句子分析。同时，也通过一个节点明确确定了省略元素及其省略类型。该树库还利用了Bijankhan语料库中单词的形态句法和语义信息，因此在词性标签信息和句子树分析方面都很丰富。 ### 2.1 树库的转换 为在实验中使用该树库，需对树进行规范化处理，并将树库从XML格式转换为纯文本的宾州树库风格。具体操作步骤如下： 1. 由于波斯语是从右到左的语言，而斯坦福解析器不支持双向解析，因此需将树库转换为从左到右的方向，同时不丢失任何信息。 2. 因要使用无痕迹的树训练解析器，需移除nid节点。在此之前，将nid节点的母节点重命名为X - nid，并将在HPSG中起斜线元素作用的‘ - nid’传播到通过中心词 - 填充语模式绑定的节点。 3. 将树的XML格式转换为纯文本的宾州树库格式后，使用无痕迹的宾州树库风格数据训练斯坦福波斯语解析器。 4. 在规范化过程中，原树库中的一些信息会丢失，包括结构共享、外置或乱序元素与其对应规范位置的链接、语用节点、命名实体标签、词形和/ke/、/ye/及附着词的类型。 ### 2.2 分词处理 将原始数据转换为宾州树库格式后，使用斯坦福解析器中的PennTreebankTokenizer模块对输入数据进行分词。假定输入数据已用空格正确分词，但由于单词元素之间可能使用空格或伪空格，需在词法项的内部结构中将其替换为‘ - s - ’，以将多词标记识别为一个单元，解决分词问题。 需要注意的是，尽管斯坦福解析器是PCFG的实现，而用于训练解析器的波斯语数据集基于HPSG，但两者之间没有冲突，因为树看起来像短语结构树。而且，在其他研究中也有使用HPSG树库训练PCFG解析器的实验。 ## 3. 基于类别的解析 ### 3.1 词聚类的应用 布朗是将词聚类用于语言建模方法的先驱。此后，词聚类广泛应用于各种自然语言处理应用中，包括解析、词义消歧、自动同义词库生成、机器翻译、句子检索、命名实体标注、语言模型自适应、语音识别、查询扩展和文本分类等。 ### 3.2 词聚类的优缺点 词聚类具有以下优点和缺点： - **优点**： - 减少数据稀疏问题。若未见过某个单词但知道其所属类别，系统性能不会因未登录词问题而降低，尤其在数据类型变化时，这种方法非常有效。 - 灵活性高，可捕捉不同特征。例如，可使用不同的词聚类算法捕捉单词的语义或句法属性。由于统计解析的目标是将句法行为相似的单词分组，这种灵活性使我们能够选择复杂的算法来捕捉单词的句法相似性，用于解析。 - **缺点**：聚类无法区分同形异义词的不同句法行为，因为它们被归为同一类别。这一问题在解析等应用中可能产生反作用。虽然软聚类方法似乎是解决此问题的好办法，但研究表明，硬聚类的整体性能仍优于软聚类。为解决硬聚类中同形异义词的错误聚类问题，可在词聚类算法中添加单词的词性标签作为额外的词法信息，以区分同形异义词。 ### 3.3 词聚类示例 假设词聚类算法能准确对文本中的单词进行聚类，同一类别中的单词之间存在明显关系。以下是布朗算法为波斯语创建的一些词聚类示例： - **CLUSTER1**：porxatartarin [最危险的]，ˇsom¯alitarin [最北部的]，zayiftarin [最弱的]，... - **CLUSTER2**：p¯akizegi [清洁]，bastani [冰淇淋]，zib¯ayi [美丽]，... - **CLUSTER3**：farmude?id [已规定]，kardeast [已做]，kardeand [已做]，... 这些词聚类有助于找到句法上相关的一组术语。例如，若训练数据中出现了‘porxatartarin’，且它与‘masir’ [路径]构成名词短语，基于类别的模型就能解析包含‘ˇsom¯alitarin’（测试数据中未见过，但与‘porxatartarin’属于同一类别）的句子，并且能将其与‘masir’组合成一个成分。 ### 3.4 基于词和基于