移动应用用户行为重采样方法比较

### 移动应用用户行为重采样方法比较 #### 1. 引言 在处理移动应用用户行为数据时，数据不平衡是一个常见的问题。比如移动应用用户数据集包含27个解释变量和一个响应变量，而在特定时间段结束时，应用用户的留存实例仅占19.7%。为了解决这个问题，需要采用重采样方法来平衡数据，进而提高分类器的性能。同时，为了比较不同分类器的性能，会用到F1分数、曲线下面积（AUC）和ROC曲线等指标，还会使用基于排列的假设检验来区分相似的ROC曲线。此外，在比较AUC和ROC曲线时，有一些非参数检验方法可供使用，如DeLong提出的重新定义的非参数检验用于比较配对和非配对数据的AUC，Venkatraman开发的完整非参数检验用于在数据配对且连续时比较两条ROC曲线。 #### 2. 方法 - **数据处理**： - 移动应用用户数据集存在数据不平衡问题，响应变量中留存用户比例较低。为解决此问题，结合过采样和欠采样方法处理响应变量的不平衡百分比。 - 采用四种过采样百分比水平（35%、40%、45%、50%）对整个数据集进行操作，然后使用欠采样技术处理任何不平衡情况，使最终的响应变量达到平衡。例如，50%表示使用过采样技术平衡响应变量；40%表示对少数实例进行过采样，使响应变量的新不平衡百分比为40%，然后使用欠采样技术缩小多数实例的规模，使最终的训练数据集成为平衡数据集。 - **分类器选择**：使用逻辑回归、朴素贝叶斯和支持向量机对移动应用用户的留存情况进行分类。 - **性能评估指标**：使用F1分数、曲线下面积（AUC）和ROC曲线来比较分类器的性能。同时，使用基于排列的假设检验来区分相似的ROC曲线。 #### 3. 结果 - **平均ROC曲线的获取方法**： - 对于逻辑回归模型使用原始训练数据集进行10折交叉验证时，有以下几种获取平均ROC曲线的方法： - 计算各折的平均真阳性率（TPR）和假阳性率（FPR）值。 - 在每个特异性（Sp）处平均灵敏度（Se）。 - 在每个灵敏度处平均特异性。 - 在每个固定的(Se - Sp)/2处平均(Se + Sp)/2。 - 第一种方法是简单地取每个TPR和FPR值的平均值以得到平均ROC曲线。后三种方法可以通过以下算法进行泛化： - 将ROC空间中的轴（FPR，TPR）逆时针旋转角度θ到（u，v）空间： - \(u = FPR\cos\theta + TPR\sin\theta\) - \(v = -FPR\sin\theta + TPR\cos\theta\) - 在（u，v）空间中通过对每个u的v进行平均来平均ROC曲线。 - 将（u，v）空间中平均后的曲线旋转回ROC空间： - \(FPF = u\cos\theta - v\sin\theta\) - \(TPF = -u\sin\theta + v\cos\theta\) - 参数θ影响ROC曲线平均的方向。当θ = 0时，对应在每个特异性处平均灵敏度的方法；当θ = π/2时，对应在每个灵敏度处平均特异性的方法；当θ = π/4时，对应在每个固定的(Se - Sp)/2处平均(Se + Sp)/2的方法。 - **不同平均方法的AUC比较**： | 方法 |