特征分析与数据预处理

最新推荐文章于 2025-08-20 14:01:41 发布

田乐蒙

最新推荐文章于 2025-08-20 14:01:41 发布

阅读量710

点赞数 5

CC 4.0 BY-SA版权

分类专栏： ML 文章标签：人工智能机器学习大数据

23 篇文章

订阅专栏

数据特征分析

对数据进行质量分析以后，接下来可通过常规统计分析、绘制图表、计算某些特征量关系等手段进行数据的特征分析。

用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析。

分布分析能揭示数据的分布特征和分布类型。

对于定量数据，想要了解其分布形式是对称的还是非对称的，以及发现某些特大或特小的可疑值，可通过绘制频率分布表、频率分布直方图、茎叶图进行直观分析。

对于定性分类数据，可用饼图和条形图直观显示分布情况。

对比分析是指把两个相互联系的指标进行比较，从数量上展示和说明研究对象规模的大小、水平高低和速度快慢，以及各种关系是否协调。特别适用于指标间的横纵向比较、时间列表的比较分析。在对比分析中，选择合适的对比标准是十分关键的步骤，只有选择合适的，才能作出客观的评价。

缺失值处理：一般分为三种：直接使用含有缺失值的特征、删除含有缺失值的特征和缺失值补全。
异常值处理：异常值分析也被成为离群点分析，用于校验是否有录入错误及不合理的数据。
1. 简单统计分析：在进行异常值分析时，可以先对变量做一个描述性统计，以查看哪些数据是不合理的。
2. 3 $σ\sigma$ 原则：如果数据符合正太分布，在3 $σ\sigma$ 原则下，异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。
3. 箱型图分析：异常值定义为小于OL-1.5IQR或大于QU+1.5IQR的值，其中QL（下四分位数），表示全部观测值中只有1/4的数据比它小；QU（上四分位数）；IQR（四分位差距），是上四分位和下四分位之差。
4. 小波变换
数据一致性处理：数据的一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实践相违背的挖掘结果。