模糊偏好下的斯皮尔曼等级相关系数解读

### 模糊偏好下的斯皮尔曼等级相关系数解读 #### 1. 引言 在广泛的信息检索任务中，常常需要对两个排序进行比较。这些排序可能代表特定用户对所搜索数据的偏好，或者是检索系统给出的相关性评估等。 在推荐系统的协同过滤中，推荐系统会根据用户偏好的相似性，向用户推荐其他用户高度偏好但自己尚未接触过的资源。而在检索评估任务中，搜索引擎对文档的排名会与参考排名进行比较，排名越相似，搜索引擎的质量评估就越高。 比较排名的方法众多，其中统计方法最为重要，斯皮尔曼等级相关系数（Spearman’s Rho）和肯德尔等级相关系数（Kendall’s Tau）是最常用的排名相关度量。然而，在实际应用中，经典度量方法会遇到排序不完整和非线性的问题。例如，推荐系统中不同用户评估的资源集合不同，导致排名不完整；搜索引擎的文档索引集合也存在差异，难以考虑全部输出。直接去除“有问题”的数据会丢失大量信息，导致推断结论产生误导。因此，需要一种新的方法来处理这些问题，特别是针对不满足经典统计工具要求的偏好情况。 #### 2. 斯皮尔曼等级相关系数 假设我们有两个变量 A 和 B 的 n 对观测值，即 (A1, B1), …, (An, Bn)。计算斯皮尔曼相关系数时，首先要对 A 的所有观测值进行从小到大（或从大到小）的排序，然后独立地对 B 的值进行相同方式的排序。每个观测值会根据其在所属组中的相对位置被赋予一个排名。当不存在并列排名（即 A 或 B 中没有两个值具有相同排名）时，斯皮尔曼相关系数的计算公式为： \[r_s = 1 - \frac{6}{n(n^2 - 1)}\sum_{i = 1}^{n}d_i^2\] 其中，\(d_i\) 是 \(A_i\) 和 \(B_i\) 排名的差值。 斯皮尔曼相关系数满足良好关联度量的常见要求： - \(-1 \leq r_s \leq 1\)。 - 当变量 A 和 B 完全一致时，\(r_s = 1\)；当完全不一致（B 的排列是 A 的逆序）时，\(r_s = -1\)；当 A 和 B 之间没有关系时，\(r_s = 0\)。 - \(r_s\) 具有交换性和关于零的对称性，并且在所有保序变换下保持不变。 如果存在并列观测值，通常的做法是为不可区分的观测值分配相同的排名。斯皮尔曼等级相关系数常用于比较偏好，通过计算两个排序的系数来判断偏好是一致、相反还是存在某种关系。 下面通过一个推荐系统的例子来说明：假设有两个用户 A 和 B 对七个电视频道（\(x_1\), …, \(x_7\)）设置了偏好。用户 A 偏好 \(x_3\)，其次是 \(x_1\) 和 \(x_4\)，\(x_2\) 和 \(x_5\) 评价相同，最后是 \(x_7\)，对 \(x_6\) 没有意见。用户 B 认为 \(x_1\) 最好，其次是 \(x_3\) 和 \(x_6\) 大致相当，然后是 \(x_2\)、\(x_7\) 和 \(x_5\)，对 \(x_4\) 没有意见。具体排名如下表所示： | 频道 | \(x_1\) | \(x_2\) | \(x_3\) | \(x_4\) | \(x_5\) | \(x_6\) | \(x_7\) | | --- | --- | --- | --- | --- | --- | --- | --- | | \(R_A\) | 2 | 4 | 1 | 3 | 4 |? | 5 | | \(R_B\) | 1 | 3 | 2 |? | 5 | 2 | 4 | 由于并非所有元素都有排名，经典的斯皮尔曼系数无法直接应用，因此需要新的方法来处理这种情况。 #### 3. 偏好建模 为了处理偏好问题，我们引入直觉模糊集（IF - sets）的概念。 首先，模糊集 C 在论域 X 中定义为有序对的集合： \[C = \{\langle x, \mu_C(x)\rangle: x \in X\}\] 其中，\(\mu_C : X \to [0, 1]\) 是 C 的隶属函数，\(\mu_C(x)\) 表示 x 属于 C 的程度，x 不属于 C 的程度则为 \(1 - \mu_C(x)\)。但在现实生活中，语言否定并不总是等同于逻辑否定，因此 Atanassov 提出了直觉模糊集的概念。 直觉模糊集 C 在 X 中由有序三元组的集合表示： \[C = \{\langle x, \mu_C(x), \nu_C(x)\rangle: x \in X\}\] 其中，\(\mu_C, \nu_C : X \to [0, 1]\) 是函数，满足 \(0 \leq \mu_C(x) + \nu_C(x) \leq 1\) 对于所有 \(x \in X\)。\(\mu_C(x)\) 和 \(\nu_C(x)\) 分别表示元素 x 属于和不属于 C 的程度。可以看出，每个模糊集都是直觉模糊集的特殊情况。 对于每个元素 \(x \in X\)，可以计算其在 C 中的 IF 指数： \[\pi_C(x) = 1 - \mu_C(x) - \nu_C(x)\] 显然，\(\pi_C(x) \in [0, 1]\) 对于所有 \(x \in X\)。当 \(C \in FS(X)\)（模糊集）时，\(\pi_C(x) = 0\) 对于所有 \(x \in X\)。 在偏好建模中，我们将偏好系统 A 和 B 分别表示为直觉模糊集。对于给定的元素 \(x_i \in X\)，定义两个函数 \(w_A\) 和 \(b_A\)：\(w_A(x_i)\) 表示在偏好系统 A 的排序中，比 \(x_i\) 差的元素数量；\(b_A(x_i)\) 表示比 \(x_i\) 好的元素数量。通过这两个函数，可以确定隶属函数 \(\mu_A\) 和非隶属函数 \(\n