网页复杂问答的答案多样化与词汇过滤在存档问题搜索中的应用

### 网页复杂问答的答案多样化与词汇过滤在存档问题搜索中的应用 在当今信息爆炸的时代，问答系统在满足用户信息需求方面发挥着至关重要的作用。然而，如何提供多样化且准确的答案，以及在存档问题搜索中更有效地进行词汇加权，是当前研究的热点问题。本文将深入探讨答案多样化的图排序模型以及词汇过滤在术语加权框架中的应用。 #### 答案多样化的图排序模型 在复杂问答场景中，为用户提供多样化的答案能够更好地满足其信息需求。研究人员提出了一种基于负边图上随机游走的图排序模型，旨在找到一组多样化的答案。 - **随机游走模型的构建** - 首先，将相关答案表示为一个答案图，其中节点对应答案，边对应答案之间的相似度。$P_{ij}$ 对应马尔可夫链中从状态 $i$ 到 $j$ 的转移概率，$P$ 满足遍历性属性并具有唯一的平稳分布，此时可以根据平稳分布对每个答案进行排序。 - 但该模型未考虑答案间的事实冗余问题。为解决这一问题，对图 $G$ 进行修改，使所有边权重都为负，定义 $G^- = (V, E^-)$ 为无向图，其中 $V$ 是 $n$ 个相关答案顶点的集合，$E^-$ 是负边的集合。 - 接着，定义邻接矩阵 $M$ 对应 $G^-$ 中的边权重，为全负矩阵。类似于推导转移矩阵 $P$ 的过程，定义修改后的转移矩阵 $Q$ 以结合 $M$ 中定义的负邻接权重和 $B$ 中定义的答案相关性。为确保 $Q$ 仍具有遍历性，将矩阵 $B$ 乘以缩放因子 $c$，$c$ 是 $d$ 的函数，由 $Q$ 中所有元素非负且每行元素之和为 1 的条件确定。 - **DiverseRank 分数的计算** - 最终，根据节点的平稳概率对每个答案节点进行排名。DiverseRank 分数的简化方程为： \[ DiverseRank(i) = (1 - d) \cdot rel(i, q) + d \cdot \sum_{j=1}^{n} Q_{ij} \cdot DiverseRank(j) \] 其中，$d$ 是阻尼因子，取值范围在 $[0, 1]$ 之间，同时作为冗余惩罚因子；$c$ 是缩放因子；$rel(i, q)$ 是答案 $i$ 相对于问题 $q$ 的相关性得分；$sim(i, j)$ 是答案 $i$ 和 $j$ 的相似度得分。为估计 $rel(i, q)$ 的值，采用了 Allen 等人描述的句子加权函数。 #### 实验评估 为了验证该模型的有效性，研究人员使用了两个问答数据集进行评估：Yahoo! Answers 数据集的子集（YahooQA）和 TREC 2006 中使用的复杂交互式问答测试集（ciQA）。 - **数据集特点** - YahooQA 数据包含社区成员提出的主观且定义不明确的信息需求，主题广泛，从数学、健康到摔跤等。数据噪声较大，包含大量非正式语言表达。从中随机选择 100 个问题和 10,546 个答案作为测试集，并自动创建信息块集，提问者选择的最佳答案标记为重要信息块，其他答案标记为普通信息块。 - ciQA 数据主要关注复杂的实体关系问题，信息需求反映了情报分析师的提问。数据质量相对较高。30 个问题主题及其自由形式的描述由美国国家标准与技术研究院（NIST）的人工评估人员准备。 - **评估设置** - 采用信息块金字塔指标评估答案集的多样性，金字塔 F 分数计算为信息块召回率（NR）和信息块精确率（NP）之间的加权调和平均值。NR 和 NP 由每个信息块中的术语与每个提取答案集中的术语之间的一元共现求和得出。 - 按照 TREC 2006 的标准程序，设置评估参数，并使用 Pourpre 脚本自动计算分数。此外，还使用召回 - 长度性能曲线对不同大小答案集的算法性能进行细粒度分析。 - 实验步骤如下： 1. 预处理：将答案拆分为一元标记，去除无内容的单词，如冠词、连词、介词等，并使