吴恩达机器学习007过拟合&&代价函数&&正则化

octave 算法 机器学习

---

过拟合问题

过拟合问题，过拟合会导致模型强行匹配每个点，导致模型的泛化能力减弱。在线性回归问题和分类问题上都可以看出过拟合会导致泛化能力减弱。

过拟合产生的原因

过拟合往往是因为特征太多,约束很严重,导致模型无法很好的泛化.

线性回归的正则化

正则化线性回归

$$J(\theta)={1 \over 2m}[\sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2+\lambda\sum^n_{j=1}\theta_j^2]$$

对于梯度下降,进行正则化后(对$\theta_0$不进行正则化),得到如下结果,注意到$\alpha{\lambda \over m}$是个很小的值



对于正规方程的正则化,要加上如下的矩阵,当出现X行数小于列数时,即特征量大于样本数时,会出现无法求逆的情况,但是正则化能够很好的解决这个问题,正则化能够保证他是可逆得矩阵

Logistic回归的正则化

对于逻辑回归算法,也可以运用正则化的思想,在函数后加上惩罚项来防止出现过拟合的现象



逻辑回归的梯度下降



高级算法的优化