深度学习自学记录（6）——标准化、归一化和BatchNormal的理解

1、标准化与归一化

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间，或有特定的数据分布。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。标准化不会改变数据分布。
其中最典型的数据标准化处理就是数据的归一化，即将数据统一映射到[0,1]区间上。

1.1归一化的目的和优势

目的：
1、把数变为（0，1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速
2、把有量纲表达式变为无量纲表达式。 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量，便于不同单位或量级的指标能够进行比较和加权
总得来说：归一化的目的就是使得预处理的数据被限定在一定的范围内（比如[0,1]或者[-1,1]），从而消除奇异样本数据导致的不良影响
优势：
1、提升模型的收敛速度
2、提升模型的精度；在涉及到一些距离计算的算法时效果显著，可以让各个特征对结果做出的贡献相同。从经验上说，归一化是让各指标值都处于同一个数量级别上，在数值上有一定比较性，可以大大提高分类器