逻辑回归关于经验风险最小化的凸近似体现

机器学习

---

经验最小化以及逻辑回归的等价问题

经验风险最小化——极小化训练误差（$\min\hat\varepsilon(\theta)$）：

$$\min\sum y^{(i)}(1-I(z^{(i)}))+(1-y^{(i)})I(z^{(i)})$$ 逻辑回归——极大化似然函数（$\max\mathcal{l}(\theta)$）：
$$\min\sum y^{(i)}[-\ln g(z^{(i)})]+(1-y^{(i)})[-\ln(1-g(z^{(i)}))]$$ 其中，$z^{(i)}=\theta^Tx^{(i)}$、$I$为示性函数、$g$为逻辑函数。容易看出$1-I(z^{(i)})$由$-\ln g(z^{(i)})$近似，$I(z^{(i)})$由$-\ln(1-g(z^{(i)}))$近似。

函数图像

思考

经验风险最小化存在最优解但不一定唯一，而逻辑回归存在唯一解。

逻辑回归由于使用了极大似然估计，所以它不仅关注样本是否被正确分类，还考虑了区分程度。

推导

首先定义一个函数

$$\mathbf{1}\{x\}=\begin{cases} 1 & x=true\\ 0 & x=false \end{cases}$$

经验风险最小化算法：

$$\min\hat\varepsilon(\theta)\\ \min\frac1m\sum_{i=1}^m\mathbf{1}\{I(z^{(i)})\ne y^{(i)}\}\\ \min\sum \mathbf{1}\{I(z^{(i)})\ne y^{(i)}\}\\ \min\sum y^{(i)}(1-I(z^{(i)}))+(1-y^{(i)})I(z^{(i)})$$
逻辑回归：
$$\max\mathcal{l}(\theta)\\ \max\sum y^{(i)}\ln g(z^{(i)})+(1-y^{(i)})\ln(1-g(z^{(i)}))\\ \min\sum y^{(i)}[-\ln g(z^{(i)})]+(1-y^{(i)})[-\ln(1-g(z^{(i)}))]$$