【机器学习】特征降维|低方差过滤|主成分分析PCA|相关系数法|皮尔逊相关系数|斯皮尔曼相关系数

最新推荐文章于 2024-12-25 18:50:01 发布

丕羽

最新推荐文章于 2024-12-25 18:50:01 发布

阅读量1.3k

点赞数 24

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/weixin_57336987/article/details/142929300

特征降维

为什么要进行特征降维?
- 特征对训练模型非常重要,当用于训练的数据集包涵一些不重要的特征时,可能会导致模型泛化性能不加
  - eg：某些特征的取值较为接近，其包含的信息较少
  - eg：希望特征独立存在对预测产生影响，两个特征同增同减非常相关，不会给模型带来更多的信息
特征降维目的
- 在某些特定的情况下,降低特征个数
- 特征降维涉及的知识面比较多，当前阶段常用的方法：
  - 低方差过滤法
  - PAC 主成分分析降维法
  - 相关系数法(皮尔逊相关系数斯皮尔曼相关系数)

低方差过滤

低方差过滤法: 指的是删除方差低于某一阈值的特征
- 特征方差小: 特征值的波动范围小包含的信息少模型不易学到信息
- 特征方差大: 特征值的波动范围大包含的信息多便于模型学习
低方差过滤API

# 实例化对象用于删除所有低方差特征
sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
variance_obj.fit_transform(X)
	# X.shape : [n_samples,n_features]
# 返回值：训练集差异低于threshold的特征将被删除。
	#默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征

代码实现

# 1.导入依赖包
from sklearn.feature_selection import VarianceThreshold
import pandas as pd

# 2. 读取数据集
data = pd.read_csv('data/垃圾邮件分类数据.csv')
print(data.shape)