深度学习中的各种误差

deep-learning

参考： http://bealin.github.io/2017/02/27/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%B3%BB%E5%88%97%E2%80%942-%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BC%B0%E4%B8%8E%E9%80%89%E6%8B%A9/

训练误差，验证误差，测试误差，泛化误差

• 训练误差是模型关于训练数据的平均损失
• 验证误差是模型在验证集上的误差
• 测试误差是模型关于测试数据集的平均损失
• 测试误差 == 泛化误差

我们在深度学习的过程中训练的过程就是最小化训练误差， 而真正目的却是为了最小化测试误差， 然而， 在训练中经常会出现欠拟合和过拟合两种状况， 而这两种状况的产生情况并不相同。

• 欠拟合产生的原因是由于模型复杂度过低，不能很好的拟合所有的数据，导致训练误差较大；
• 过拟合产生的原因是由于模型复杂度过高，训练数据过少，训练误差小，但是测试误差较大；

在神经网络模型中， 如何模型的层数， 每层神经元的个数过多， 会使得模型太过复杂， 抽象能力太强， 从而导致过拟合的发生。

偏差与方差： bias and variance

• 偏差： 就是预测值的期望离所有被预测的样本的真实值的距离的期望。 刻画了学习算法本身的拟合能力。

• 方差：就是预测值的期望离所有被预测的样本的预测值的距离的期望。刻画了数据扰动所造成的影响。

• 高偏差意味着模型的拟合能力不足， 容易导致欠拟合

• 高方差意味着模型的模型泛化能力弱， 容易导致过拟合。