深度学习： 代价函数

deep-learning

---

为什么代价函数要非负

只要涉及的代价函数有下界，都可以，设置非负更为方便。

1. 交叉熵

用于二分类中的代价函数， 常与sigmoid组合。

$$J = - \frac{1}{n}\sum_x[y\ln a + (1-y)\ln{(1-a)}]$$

• $J$ 是非负的。 求和中的每一项都是负数，因为其对数的定义域是(0,1)
• 如果对于所有的训练输⼊ x，神经元实际的输出接近⽬标值，那么交叉熵将接近 0。

$$\begin{align}\frac{\partial J}{\partial w_{j}}&=-\frac{1}{n}\sum \frac{\partial }{\partial w_{j}}[ylna+(1-y)ln(1-a)]\\&=-\frac{1}{n}\sum \frac{\partial }{\partial a}[ylna+(1-y)ln(1-a)]*\frac{\partial a}{\partial w_{j}}\\&=-\frac{1}{n}\sum (\frac{y}{a}-\frac{1-y}{1-a})*\frac{\partial a}{\partial w_{j}}\\&=-\frac{1}{n}\sum (\frac{y}{\varsigma(z)}-\frac{1-y}{1-\varsigma(z)})\frac{\partial \varsigma(z)}{\partial w_{j}}\\&=-\frac{1}{n}\sum (\frac{y}{\varsigma(z)}-\frac{1-y}{1-\varsigma(z)}){\varsigma}'(z)x_{j}\end{align}$$

根据$\varsigma(z)=\frac{1}{1+e^{-z}}$ 的定义，和⼀些运算，我们可以得到 ${\varsigma}'(z)=\varsigma(z)(1-\varsigma(z))$。化简后可得：

$$\frac{\partial C}{\partial w_{j}}=\frac{1}{n}\sum x_{j}({\varsigma}(z)-y) \\ \frac{\partial C}{\partial b}=\frac{1}{n}\sum ({\varsigma}(z)-y)$$

这意味着权重的学习速度受到 $\varsigma(z)-y$ 的影响， 因此有了更快的学习速度。

2. log-likelihood cost

用于softmax的代价函数。

$$J =$$

3. 二次代价函数

$$J = \frac{1}{2n}\sum_x\Vert y-f(x)\Vert^2$$

交叉熵 vs 二次代价函数

• 对于二次代价函数来讲， 由于存在sigmoid函数，$\frac{\delta J}{\delta w}=(a-y)\delta'(z)x$，$\frac{\delta J}{\delta b}=(a-y)\delta'(z)$， sigmoid 函数导数再输出接近0或1时非常小，会导致一些样本再刚开始训练时学习的很慢
• 当采用交叉熵时， 权重学习受到 $\delta{(z)}-y$影响， 因此有更快的学习速度。

---

回归代价函数

MAE: 最小绝对值误差

$$MAE = \frac{1}{n}\sum_{i=1}^{n} |(y_i - y_i')|$$

MSE: 均平方误差

$$MSE = \frac{1}{n}\sum_{i=1}^{n} (y_i - h(x_i))^2$$

MAPE：平方绝对百分比误差

$$MAPE = \frac{100\%}{n} \sum_{t=1}^n |\frac{y_i - h(x_i)}{h(x_i)} |$$

RMSE： 均方根误差

$$RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^n (h(x_i) - y_i)^2}$$