XinZou-CUG#needRemember#数据变换1

# 为什么需要对数据进行变换？ - 避免异常点：比如对连续变量进行份桶离散化 - 可解释性或者需要连续输出：比如评分卡模型中的iv+woe - 使得原始数据的信息量更大：比如log/sqrt变换 # 归一化和标准化之间的关系？ - 归一化(max-min) - 缩放仅仅跟最大、最小值的差别有关，只是一个去量纲的过程 - 标准化(z-score) - 缩放和所有点都相关，数据相对分布不会改变，集中的数据标准化后依旧集中 - 作用 - 解决部分模型由于数据值域不同对模型产生的影响，尤其是距离模型 - 更快的收敛 - 去量纲化 - 避免数值计算溢出 - 总结 - 异常点角度：特征数据上下限明显异常的时候使用标准化方法，简单归一化会造成数据差异模糊，整体方差下降 - 分布角度：使用标准化之前，要求数据需要近似满足高斯分布，不然会改变数据的分布，尤其是对数据分布有强假设的情况下 - 上线变动角度：归一化在上线的时候需要考虑上下约束届是否需要变动，标准化则不需要考虑变动 - 值域范围角度：归一化对数据范围约定较为固定，而标准化的输出上下届则不定 - 模型角度：一般涉及距离计算，协方差计算，数据满足高斯分布的情况下用标准化，其他归一化或其他变换 - 常用模型 - knn：计算距离，不去量冈则结果受值域范围影响大 - neural network：梯度异常问题+激活函数问题 # 连续特征常用方法 - 截断 - 连续型的数值进行截断或者对长尾数据进行对数后截断(保留重要信息的前提下对特征进行截断,截断后的特征也可以看作是类别特征) - 参考异常点里面的outlier识别，以最大值填充或者以None - 二值化 - 数据分布过于不平衡 - 空值/异常值过多 - 分桶 - 小范围连续数据内不存在逻辑关系，比如31岁和32岁之间不存在明显的差异，可以归为一类 -  - 离散化 - 数值无意义，比如学历、祖籍等等 - 缩放 - z-score标准化 - min-max归一化 - 范数归一化:![](https://tva1.sinaimg.cn/large/006y8mN6gy1g8mf5xdj2sj3