问答网站英语语句中N-gram的应用研究

# 问答网站英语语句中N - gram的应用研究 ## 1 研究背景与目标 在问答网站中，用户的表达风格各异。有些用户喜欢礼貌的风格，而有些则倾向于用粗鲁的语气回复；有些偏爱抽象词汇，而有些则更倾向于具体的表达方式。因此，除了文本特征外，还需关注语句给人的印象。目前，尚未有一种完善的方法能为提问者推荐合适的回答者。本研究旨在通过语句的印象，为提问者引入合适的回答者。 ## 2 前期工作 ### 2.1 日语语句因素获取 进行了印象评估实验来评价问答语句的印象。邀请了41位评估者对语句的风格或内容进行评估，并从50个印象词集合中分配标签。对12组共60条问答语句进行了评估，这些实验材料选自2005年在Y!C上实际发布的内容。通过对实验结果进行因子分析，得到了9个因素，分别命名为准确性、不悦、创造力、轻松、坚持、模糊、感人、努力和热度。 ### 2.2 日语因素得分估计 仅针对上述60条作为实验材料的语句获得了因素得分。为了能够估计其他语句的因素得分，对其特征值进行了多元回归分析。总共采用了77个特征值。对这60条日语问答语句进行多元回归分析，得到的多元相关系数（MCCs）显示，所有9个因素的估计准确性都高于0.9，表明估计准确性非常好。 ### 2.3 英语因素获取 由于之前的研究特征值主要依赖于日语，因此需要研究该方法在其他语言中的适用性。作为初始步骤，以与日语类似的方式获取了描述英语语句印象的因素。使用的大部分英语印象词与日语相同，以便直接比较两种语言的方法。与4位外国受试者合作进行了印象评估实验，实验材料是6组共30条实际发布到Yahoo! Answers（Y!A）的英语问答语句。通过因子分析，得到了9个因素，分别命名为准确性、评价、失望、不适、新奇、效力、难度、礼貌和怀旧。与日语因素相比，既有相似之处也有不同之处。 ### 2.4 英语因素得分估计 同样，仅针对实验中使用的30条英语问答语句获得了因素得分。为了估计其他语句的因素得分，对其特征值进行了多元回归分析。考虑到多重共线性，总共采用了26个特征值，具体如下表所示： | Eg | Variable | Eg | Variable | Eg | Variable | Eg | Variable | | --- | --- | --- | --- | --- | --- | --- | --- | | Eg1 | Word | Eg3 | CD | Eg11 | CC(%) | Eg19 | PP(%) | | Eg2 | Word/SENT | Eg4 | FW | Eg12 | EX(%) | Eg20 | RB(%) | | Eg5 | MD | Eg13 | IN(%) | Eg21 | TO(%) | | Eg6 | PDT | Eg14 | JJ(%) | Eg22 | VH(%) | | Eg7 | RP | Eg15 | MD(%) | Eg23 | VV(%) | | Eg8 | UH | Eg16 | NN(%) | Eg24 | WH(%) | | Eg9 | VD | Eg17 | NP(%) | Eg25 | GESY(%) | | Eg10 | CUSY | Eg18 | POS(%) | Eg26 | CUSY(%) | 对这30条英语问答语句进行多元回归分析，9个因素的MCCs均高于0.9，表明估计准确性良好。 ## 3 2 - gram在问答语句中的应用 ### 3.1 目标 之前的方法在很大程度上依赖于通过形态分析（MA）提取的句法信息（Syn - Info），并且考虑二次项会产生大量的解释变量（EVs），导致用于估计因素得分的多元回归方程非常复杂。因此，在采用特征值估计因素得分时，原则从单纯的Syn - Info转向了N - gram。期望N - gram的应用能提高估计准确性，并使用于估计因素得分的方程更加简洁。 ### 3.2 N - gram简介 N - gram是MA的一种替代句法分析方法，它表示N个连续的字符、词素或词性单位的序列，其中N是至少为2的任意整数。在对英语问答语句的分析中，首先将N设为2。以一条英语问答语句“EAQ02”为例，其2 - gram的词性、示例和频率如下表所示： | 2 - gram | Example | Frequency | | --- | --- | --- | | [DT - NN] | [the - amount] | 11 | | [PP - VV] | [they - take] | 5 | | [IN - PP] | [if - I] | 3 | | [NN - IN] | [sale - at] | 9 | | [NN - SENT] | [method - ] | 2 | | [VV - DT] | [take - the] | 5 | | [VV - PP] | [say - I] |