机器学习： 逻辑回归

machine-learning

logistic回归简介

logistic回归用于解决的是分类问题，其基本思想是：根据现有数据对分类边界线建立回归公式,以此进行分类。也就是说，logistic回归不是对所有数据点进行拟合，而是要对数据之间的分界线进行拟合。

sigmoid 函数

我们前面在线性回归中已经提到线性回归是为了解决回归问题，那么现在这个logistic 回归怎么会用来解决分类问题呢？这就要归功于sigmoid函数了。

• 公式：
  $$y = \frac{1}{1 + e^{-x}}$$

那么logistic是怎么和sigmoid函数连接起来的呢？ 很简单，我们只需要将各个特征 × 回归系数，然后将所有值相加，并将这个总和代入sigmoid函数中，进而得到一个范围在0-1之间的数值。任何大于0.5的数据被分入1类，小于0.5分入0类，这样我们就实现了二分类。类似这样：

$$y = sigmoid( \theta_0 + \theta_1 x_1 + \theta_2 x_2)$$

Logistic 回归的数学表达

这里直接给出数学公式：

$$H_\theta(x) = sigmoid(\theta^T X) = \frac{1}{1 + e^{-\theta^T X}}$$
其中有：
$$\theta = [\theta_0, \theta_1, \cdots, \theta_n] \\\ X = [x_0, x_1, \cdots , x_n]$$

如何求解最优的 $\theta$

首先，我们依旧是要找到一个合适的损失函数，在Logistic回归中的损失函数为：

$$J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)})) + (1-y^{(i)}) log(1 - h_\theta(x^{(i)})) \right]$$
接下来我解释一下为什么选择这个损失函数，我们试着将其拆开来，它其实是这样的：
$$Cost(h_\theta(x), y) = -log(h_\theta(x)) \qquad if \quad y = 1 \\\ Cost(h_\theta(x), y) = -log(1 - h_\theta(x)) \qquad if \quad y = 0$$
这样，对于任意一个误分类点，就会造成一个很高的损失（这一点可以试着将图像画出来）。更巧妙的是，我们在最终的损失函数前面分别乘了一个 $y$ 与 $1-y$ ， 这样当 $y = 1$ 时，第二项就没了，当 $y=0$ 的时候，第一项就没了，这样其实就是我们前面两个$Cost$ 求和。

我们最终给它加一个正则化项：

$$J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)})) + (1-y^{(i)}) log(1 - h_\theta(x^{(i)})) \right] + \frac{\lambda}{2m} \sum_{j=1}^{n}\theta_j^2$$
最后，我们要求最优参数的话，依旧是使用梯度下降算法来获取$J(\theta)$ 的最小值时对应的参数。

logistic 回归中的正则化

正则化在 logistic 回归中极为重要，如果没有正则化，逻辑回归的渐近性会不断促使损失在高维度空间内达到 0。因此，大多数逻辑回归模型会使用以下两个策略之一来降低模型复杂性：

• L2 正则化。
• 早停法，即，限制训练步数或学习速率。