中文评价短语提取与维基百科编辑历史主题总结

### 中文评价短语提取与维基百科编辑历史主题总结 在自然语言处理领域，中文评价短语提取和维基百科编辑历史的主题总结是两个重要的研究方向。下面将详细介绍相关的方法和实验结果。 #### 基于CRFs的SEP提取 条件随机场（CRFs）是一种判别模型，能够捕捉输入的许多相关特征。对于给定输入句子的整个路径的联合概率，CRFs有一个单一的指数模型，并能最小化标签和长度偏差的影响。其用于标记序列数据的结构是一个简单的链。 当输入给定，且$\varLambda = \{ \lambda_1, \lambda_2, \ldots, \lambda_K \}$表示CRFs的参数时，状态序列的条件概率由以下公式给出： $P(S|O) = \frac{1}{Z_0} \exp(\sum_{t = 1}^{T} \sum_{k = 1}^{K} \lambda_k f_k(s_{t - 1}, s_t, o, t))$ 在上述公式中，$f_k$是任意特征函数，$\lambda_k$是从训练数据中学习到的参数，表示相应$f_k$的权重。当CRFs模型由该公式定义且输入数据序列$O$给定时，我们使用类似隐马尔可夫模型（HMM）中的维特比算法的方法，通过以下公式获得最可能的标签序列： $S^* = \arg \max_S P(S|O)$ 考虑到简单评价短语（SEP）的结构简单且位置固定，将其提取视为一个序列标记问题，并采用CRFs模型来识别SEP。使用B/I/O标记方法对语料进行标记，其中标记为B的词表示SEP的开头，标记为I的词表示SEP的中间部分，标记为O的词表示不属于任何SEP。 例如，对“2012/m 款/q 侧裙/nz 的/ude1 变化/vn 则/d 是/vshi 非常/d 细微/a 的/ude1”进行标记后为“2012/m/B 款/q/I 侧裙/nz/I 的/ude1/I 变化/vn/O 则/d/O 是/vshi/O 非常/d/B 细微/a/I 的/ude1/I”，该片段包含两个SEP：“2012款侧裙的”和“非常细微的”。为了便于后续复杂评价短语（CEP）的提取，将出现在SEP中的词连接成一个单字，并将其词性标签设置为EP，即“2012款侧裙的/EP 变化/vn 则/d 是/vshi 非常细微的/EP”。 CRFs模型中SEP提取的特征模板如下表所示： | 特征 | 描述 | | --- | --- | | $w_i, p_i$（$i = -3, -2, -1, 0, 1, 2, 3$） | 当前词及其词性标签 | | $w_{i - 1}w_i, p_{i - 1}p_i$（$i = -2, -1, 0, 1, 2, 3$） | 当前词及其前一个词的组合，以及它们的词性标签组合 | | $w_{i - 1}w_iw_{i + 1}, p_{i - 1}p_ip_{i + 1}$（$i = -2, -1, 0, 1, 2$） | 当前词及其前后一个词的组合，以及它们的词性标签组合 | #### 基于规则的CEP提取 基于前面SEP的提取结果，通过规则方法生成最终的评价短语（EPs）。根据汉语语法和句法的特点，总结了三种复杂结构规则：括号短语规则、介词短语规则和副词短语规则，且每种规则都可以扩展。 - **括号短语规则**：括号内的内容包含注释、说明或评价信息，可将其提取为一个EP，并且它修饰其左侧的评论目标，即括号内的所有内容都被提取为EP，相应的评论目标是左侧的名词搭配。 - **介词短语规则**：简单介词短语通常难以表达情感倾向，但与后面的补语结合时可以表达。对于每个片段，从右向左搜索介词，找到介词后分析其右侧的内容，如果符合以下规则之一，则将它们（包括介词本身）提取为一个EP，继续搜索介词并重复上述过程，直到到达最左端。 - **规则1**：$p + n + EP$，即如果该介词右侧依次出现名词搭配和标记为EP的词，则将该介词和这些词连接成一个单字，并将词性标签重置为EP。例如“外观/n 上/f 将/d 会/v 比/p 传祺/nz 轿车/n 硬朗/EP”，提取的CEP是“比传祺轿车硬朗”。 - **规则2**：$p + n + d + v$，即如果右侧依次出现名词搭配、副词搭配和动词搭配，则将该介词和这些词连接成一个单字，并将词性标签重置为EP。例如“颇具层次感的/EP 镀铬/nz 栅格/nz 与/p 雪铁龙/nz LOGO/x 巧妙/ad 融合/vn”，提取的CEP是“与雪铁龙LOGO巧妙融合”。 其他基本介词短语规则如下表所示： | ID | 规则 | ID | 规则 | | --- | --- | --- | --- | | 3 | $p + n + v$ | 6 | $p + n + f + EP$ | | 4 | $p + n + f + v$ | 7 | $p + v + n$ | | 5 | $p + n + f + d + v$ | 8 | $p + v +