机器学习：归一化

machine-learning

---

适用范围

• 适用模型： 线性回归， 逻辑回归，支持向量机，神经网络
• 不适合： 决策树

归一化含义

归一化的具体作用是归纳统一样本的统计分布性。归一化在 $0-1$ 之间是统计的概率分布，归一化在$-1--+1$ 之间是统计的坐标分布。

目的是将所有的特征都统一到一个大致相同的数值区间中。
从梯度下降的角度来看，对于两个特征x1，x2， x1的范围远远大于x2，在学习率相同的情况下，x1的更新速度会大于x2，需要较多的迭代才能得到最优解。

归一化方法

1. min-max 方法

对原始数据的线性变换， 使得结果落到[0,1] 之间， 转换函数：

$$x^* = \frac{x -min } {max - min}$$

缺陷： 当有新数据加入时， 可能导致max和min的变化， 需要重新定义。

2. 零均值归一化

zero-mean normalization

经过处理的数据符合标准正态分布，即均值为0，标准差为1，注意，一般来说z-score不是归一化，而是标准化，归一化只是标准化的一种[lz]。
转化函数：

$$x^* = \frac{(x- \mu )}{\sigma}$$
z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。该种标准化方式要求原始数据的分布可以近似为高斯分布，否则效果会变得很糟糕。