优化Top-k检索：子模性分析与搜索策略

### 优化Top-k检索：子模性分析与搜索策略 在信息检索领域，Top-k检索旨在从大量文档中找出最能满足用户查询需求的k个文档，关键在于平衡相关性和多样性。本文将深入探讨Top-k检索问题，介绍相关评估指标，并分析不同检索模型和搜索策略的实验结果。 #### 1. 评估指标 为衡量Top-k检索的有效性，采用了以下三个指标： - **预期倒数排名（ERR-IA）**：该指标定义为用户找到相关文档所需的预期倒数时间，克服了对排在非常相关文档之后的文档的隐式折扣。其标准定义为 $ERR := \sum_{r=1}^{n} \frac{1}{r} \prod_{i=1}^{r-1} (1 - R_i)R_r$，其中 $r$ 是排名位置，$n$ 是所选文档的数量，$R_i$ 是满足用户的概率，通常设为0.5。为衡量文档结果集的多样性，ERR可扩展为 $ERR := \sum_{r=1}^{n} \frac{1}{r} \sum_{t} P(t|q) \prod_{i=1}^{r-1} (1 - R_t^i)R_t^r$。 - **归一化折扣累积增益（α - nDCG）**：DCG的前提是，搜索结果列表中排名较低的高度相关文档应受到惩罚，因为分级相关性值与结果位置成对数比例降低。累积折扣CG定义为 $DCG := \sum_{i=1}^{n} \frac{rel_i}{log_2(1 + i)}$。对于多样性任务，DCG设计为 $DCG := \sum_{i=1}^{n} \frac{\sum_{t} rel_{it}(1 - \alpha)c_{i,t}}{log_2(1 + i)}$，其中 $t$ 是文档 $i$ 的子主题，$\alpha$ 反映评估者错误的可能性（$0 < \alpha \leq 1$），$c$ 是子主题 $t$ 出现的次数。 - **子主题召回率（S - recall）**：该指标用于衡量作为排名函数的不同子主题的覆盖数量。具体而言，考虑一个具有 $n_A$ 个子主题 $A_1, ..., A_{n_A}$ 的主题 $T$，以及 $m$ 个文档的排名 $d_1, ..., d_m$。设 $subtopics(d_i)$ 是文档 $d_i$ 相关的子主题集合。那么前 $K$ 个文档的目标函数为 $S - recall_K := \frac{\bigcup_{i=1}^{K} subtopics(d_i)}{n_A}$，显然，它使检索能够尽快覆盖尽可能多的不同子主题。 #### 2. 实验结果 实验在TREC - 2009和TREC - 2010的数据集上进行，对MMR和MPT检索模型（包括OBN和DES两种形式）进行了评估，由于空间限制，省略了QPRP检索模型的实验结果。 | 数据集 | 模型 | 评估指标 | @5 | @10 | @20 | | --- | --- | --- | --- | --- | --- | | TREC - 2009 | LM | ERR - IA | 0.068 | 0.086 | 0.095 | | | | alpha - DCG | 0.112 | 0.145 | 0.181 | | | | s - rec | 0.171 | 0.246 | 0.349 | | | MMR - OBN + GS | ERR - IA | 0.071 | 0.091 | 0.098 | | | | alpha - DCG | 0.111 | 0.157 | 0.182 | | | | s - rec | 0.171 | 0.283 | 0.343 | | | MMR - DES + LS | ERR - IA | 0.109 | 0.128 | 0.135 | | | | alpha - DCG | 0.161 | 0.194 | 0.222 | | | | s - rec | 0.223 | 0.311 | 0.390 | | | MMR - DES + GS | ERR - IA | 0.099 | 0.118 | 0.125 | | | | alpha - DCG | 0.150 | 0.186 | 0.210 | | | | s - rec | 0.218 | 0.311 | 0.378 | | | MMR - DES + GSLS | ERR - IA | 0.131 | 0.151 | 0.156 | | | | alpha - DCG | 0.187 | 0.226 | 0.245 | | | | s - rec | 0.233 | 0.352 | 0.397 | | | MPT - OBN + GS | ERR - IA | 0.092 | 0.115 | 0.120 | | | | alpha - DCG | 0.149 | 0.197 | 0.213 | | | | s - rec | 0.196 | 0.329 | 0.364 | | | MPT - DES + LS | ERR - IA | 0.267 | 0.277 | 0.279 | | | | alpha - DCG | 0.381 | 0.354 | 0.355 | | | | s - rec | 0.353 | 0.411 | 0.419 | | | MPT - DES + GS | ERR - IA | 0.254 | 0.265 | 0.266 | | | | alpha - DCG | 0.343 | 0.344 | 0.342 | | | | s - rec | 0.376 | 0.403 | 0.403 | | | MPT - DES + GSLS | ERR - IA | 0.286 | 0.298 | 0.301 | | | | alpha - DCG | 0.386 | 0.387 | 0.395 | | | | s - rec | 0.423 | 0.460 | 0.481 | | TREC - 2010 | LM | ERR - IA | 0.087 | 0.103 | 0.120 | | | | alpha - DCG | 0.10