推荐列表意外性评估指标与移动声源提取方法

### 推荐列表意外性评估指标与移动声源提取方法 #### 推荐列表意外性评估指标 在信息推荐领域，为用户提供有用信息是关键问题。传统上，推荐系统主要通过衡量准确性的指标进行评估，如精度（precision）和召回率（recall），以及其他预测准确性指标，像平均绝对误差（MAE）、接收者操作特征（ROC）和半衰期效用指标等。然而，仅计算容易预测的项目来实现高准确性的推荐系统，不一定对用户有用，因为现有推荐系统在衡量用户满意度方面存在不足。用户对推荐系统的满意度不仅与推荐的准确性有关，还与系统提供的新奇性和意外性相关。 有研究指出，推荐系统成功的最终衡量标准应该是用户满意度。例如，Swearingern和Sinha通过问卷调查发现，有用性、新奇性和可用性与用户满意度显著相关。Ziegler引入了列表内相似度（ILS）指标来评估推荐列表中项目的相似度，通过减少推荐列表的相似度实现主题多样化推荐，从而提高用户满意度，但主题多样化推荐是否能实现高意外性仍存在疑问。 为了衡量推荐列表的意外性，研究人员提出了意外性（unexpectedness）和意外性r（unexpectedness r）两个指标。意外性指标的基本思想是，意外性是待评估方法产生的结果与原始预测方法（PPM）产生的结果之间的偏差。具体来说，对于一个由N个项目组成的推荐列表，假设si表示推荐列表中第i个排名的项目，Pr(si)表示预测方法生成的si的置信度，Prim(si)表示PPM生成的si的置信度，isrel(si)表示si与用户偏好的关系（取值为0或1），则意外性的计算公式为： \[ unexpectedness = \frac{1}{N} \sum_{i=1}^{N} \max(Pr(si) - Prim(si), 0) \cdot isrel(si) \] 该公式基于这样的思想：推荐中的意外性是所有项目意外性值的总和，只有当用于推荐的预测方法生成的项目置信度强于PPM生成的置信度，且该项目与用户偏好相关时，该项目才具有意外性。 然而，上述公式没有考虑推荐中的排名因素。为了解决这个问题，研究人员提出了意外性r指标。设count(i)表示推荐列表中第i个排名以上适合用户偏好的项目数量，则意外性r的计算公式为： \[ unexpectedness r = \frac{1}{N} \sum_{i=1}^{N} \max(Pr(si) - Prim(si), 0) \cdot isrel(si) \cdot \frac{count(i)}{i} \] 该指标通过将意外性公式乘以\(\frac{count(i)}{i}\)，对排名较高的意外项目进行加权。 为了验证这些指标的有效性，研究人员进行了电视节目推荐的初步实验。实验使用了电子节目指南生成的电视节目内容数据和44位电视观众的问卷调查数据。问卷调查分为两次，第一次持续两周（2007年2月3日开始），用于学习每个观众的偏好模型；第二次持续一周（2007年3月3日开始），用于比较预测结果与用户答案。在第二次调查中，研究人员询问了推荐节目的意外性，即观众是否之前很少听说过但觉得有趣，或者是否已知但出乎意料。 实验中使用了三种预测方法生成推荐节目： 1. **BNg**：基于贝叶斯网络模型，根据观众喜欢的节目类型预测观众的偏好。 2. **BNgh**：同样基于贝叶斯网络模型，但除了考虑观众喜欢的节目类型外，还考虑了观看习惯。 3. **KF**：基于Graham方法加权的关键词，该方法常用于准确过滤垃圾邮件。 研究人员使用精度、召回率、意外性和意外性r对三种预测方法的结果进行评估。同时，引入了三种PPM候选方法：基于第一次调查的观看时间框架预测节目、基于第二次调查中观众喜欢的节目类型预测节目、基于第二次调查中观众喜欢的名人预测节目。 以下是三种预测方法在Top-20推荐列表上的部分评估结果： | 日期 | BNg - 精度 | BNg - 召回率 | BNgh - 精度 | BNgh - 召回率 | KF - 精度 | KF - 召回率 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | 2007/3/3 | 0.2630 | 0.3583 | 0.4435 | 0.6075 | 0.3283 | 0.4524 | | 2007/3/4 | 0.2087 | 0.2552 | 0.4217 | 0.5661 | 0.2793 | 0.3495 | | 2007/3/5 | 0.3707 | 0.4455 | 0.4978 | 0.6201 | 0.3783 | 0.4477 | | 2007/3/6 | 0.3446 | 0.4231 | 0.4924 | 0.6252 | 0.3935 | 0.4731 | | 2007/3/7 | 0.3609 | 0.4509 | 0.4793 | 0.6074 | 0.4261 | 0.5037 | | 2007/3/8 | 0.3565 | 0.4369 | 0.5098 | 0.6275 | 0.4065 | 0.4764 | |