偏差与方差

deep-learning

偏差与方差

20 偏差与方差： 误差的两大来源

理解偏差和方差能够协助你决定是否应该添加数据，并依此合理安排时间去执行其它的策略来提升性能。

假设你的算法在开发集上有 16% 的错误率（84% 精度），我们将这 16% 的错误率分为两部分：

1. 算法在训练集上的错误率。在本例中，它是 15%。我们非正式地将它作为算法的 偏差（bias）
2. 第二部分指的是算法在开发集（或测试集）上的表现比训练集上差多少。在本例中，开发集表现比训练集差1%。我们非正式地将它作为算法的方差（variance)

21 偏差和方差举例

• 过拟合： 偏差很低，方差很高（训练误差很低，测试误差很高）
• 欠拟合：偏差很高，方差很低（训练误差，测试误差都很高）
• 同时过拟合和欠拟合： 偏差和方差都很高
• 低偏差，低方差： 好的结果

22 与最优错误率比较

• 最优错误率：14%。假设我们决定，即使是世界上最好的语音系统，仍会有 14%的误差。我们可以将其认为是学习算法的偏差“不可避免”的部分。
• 可避免偏差：1%。即训练错误率和最优误差率之间的差值
• 方差：15%。即开发错误和训练错误之间的差值。

如果可避免偏差值是负的，即算法在训练集上的表现比最优错误率要好。这意味着你正在过拟合训练集，并且算法已经过度记忆（over-memorized）训练集。你应该专注于有效降低方差的方法，而不是选择进一步减少偏差的方法。

偏差 = 最佳误差率 + 可避免的偏差

23 处理偏差和方差

24 偏差和方差间的权衡

25 减少可避免偏差的技术

26 训练集误差分析

27 减少方差的技术