常用损失函数及优化方法复习

机器学习

损失函数

损失函数（loss function）一般用来评估模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数，通常使用L(Y, f(x))来表示。损失函数越小，模型的准确性就越高。在机器学习实践中，我们一般针对模型的结构风险进行优化，模型的结构风险函数包括了经验风险项和正则项，针对结构风险的优化过程通常可以表达为如下式子：

$\theta^* = \arg \min_\theta \frac{1}{N}{}\sum_{i=1}^{N} L(y_i, f(x_i; \theta)) + \lambda\ \Phi(\theta)$

上式中$L$代表损失函数，$f()$代表预测模型，$x_i$，$y_i$代表样本和样本标签，$\theta$代表模型参数，$\lambda$代表正则化系数，$\Phi()$代表正则约束函数

相关概念：

损失函数：度量模型一次预测的好坏

风险函数：度量平均意义下的模型预测好坏

经验风险：训练集的总损失定义为经验风险: $R_{emp}(f) = \frac{1}{N}\sum_{i=1}^NL(y_i, f(x_i))$

期望风险：损失的期望称为期望风险：$R_{exp}(f) = E_p[L(Y, f(X))] = \int_{\mathcal{X}\times\mathcal{Y}}L(y, f(x))P(x,y)dxdy$

结构风险：虽然可以使用经验损失近似估计期望风险，但是大数定理的前提是N无穷大，实际上，我们的训练集一般不会特别大，此时就需要对经验风险做出适当调整才能近似估计。结构化风险可以缓解数据集过小而导致的过拟合现象，它在经验风险的基础上引入了对模型复杂度的惩罚机制（正则化项）

对数损失（逻辑回归，交叉熵损失）

假设分类数据集$D = \{(x_1, y_1), (x_2, y_2), ... , (x_N, y_N) \}$，定义模型的输出为样本$x_i$属于类别$y_i$的概率: $f(x) = P(y|x)$。针对二分类问题：$y \in \{-1, +1\}$，有：

$P(y|x) = \begin{cases}f(x) &,\mathrm{for}\: y = +1\\1-f(x) &,\mathrm{for}\: y = -1\end{cases}$

通过上式，我们可以得到模型$h(x)$正确预测训练集D中所有样本类别的概率：

$L = \prod_{i=1}^N P(x_i)P_h(y_i|x_i)$

上式中$P(x_i)$代表在样本分布下产生样本$x_i$的概率，$P_h(y_i|x_i)$代表

平方损失（最小二乘法）

指数损失（Adaboost）

Hinge损失（SVM）

优化方法

动量法

AdaGrad算法

RMSProp算法

AdaDelta算法

Adam算法

【参考】

1. 损失函数 - 负对数似然
2. 机器学习-损失函数
3. ML-NLP/Deep Learning/15. DL Optimizer/