本文介绍了数据探索性分析（EDA）的重要性和流程，包括熟悉数据集、理解变量关系、处理缺失值和异常值，以及各类特征分析。通过使用pandas、numpy、matplotlib等库进行数据预处理和可视化，为后续的机器学习和深度学习任务打下基础。同时，文章提出了时间类型数据处理的疑问和探讨自动特征提取的可能性。
（一）数据探索性分析（EDA）目标
EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。
（二）EDA分析内容
1. 载入各种数据科学以及可视化库:
数据科学库 pandas、numpy、scipy；
可视化库 matplotlib、seabon、missinggo；
其他；
2. 载入数据：
载入训练集和测试集,使用read_csv等函数载入数据；
简略观察数据(head()+shape)；
3. 数据总览:
通过describe()来熟悉数据的相关统计量，作用于数值型属性。
通过info()来熟悉数据类型
4. 判断数据缺失和异常
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
