python标准化预处理

为什么要进行标准化预处理？

一般用到距离的机器学习问题，都需要进行标准化预处理。

例如：在分类问题中，不同特征的数量级和量纲不同。如果一个特征的数量级很大，就可能会湮没其他特征对于分类决策的影响。

所以需要统一数量级和去量纲，使其变成均值为0、方差为1的数据。

标准化预处理公式：$(x-mean)/std$，mean为均值，std为标准差

即数学中常见的： $(x-\mu )/\sigma$

对于一维数据期望和标准差的计算（假设样本数为N）：

$${\mu }^{\ast }=\frac{1}{N}\sum _{i=1}^N{x}_i$$

$${\sigma }^{\ast }=\sqrt{\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }^{\ast }{)}^2}$$

标准化预处理函数

在sklearn库中，有对于特征的标准化函数

需要注意的是，此函数预处理的数据形式为：每行代表一个样本，每列代表一个特征（如鸢尾花数据集 iris.data），如果需要预处理的数据不是这种形式，则不能使用这个函数

对二维的鸢尾花数据集（iris.data）进行标准化预处理

from sklearn.preprocessing import StandardScaler
data = StandardScaler().fit_transform(iris.data)

对一维列表 data 进行标准化预处理

def std_pre(data):
	import numpy as np
	
	# 求出 data 的平均值
	mean = np.mean(data)
	# 求出 data 的标准差
	std = np.std(data)
	
	# 用 pre_data 来存储预处理之后的 data
	pre_data = list()
	# 对 data 进行预处理
	for i in range(len(data)):
	    pre_data.append((data[i] - mean) / std)
	
	return pre_data