[视频讲解]机器学习凸优化理论：从入门到掌握

黄海安

一、前言

凸优化理论是一门非常多知识点的学科，很难通过一篇文章全部讲清楚，故本文面向机器学习算法开发人员，仅讲解机器学习涉及到的凸优化知识，通过本文，希望您能够掌握熟练机器学习中涉及到的优化理论。如果有遗漏，请谅解，同时欢迎各位大佬提意见！

二、符号约定

为了和经典理论书籍统一，现说明基本的数学符号，需要说明的是这些符号几乎在所有书籍里面含义都一样，故而本人认为非常重要，请务必记住。
(1) $\mathbb{R}$ ：实数集
(2) $\mathbb{R}^n$ ：n维实向量集合
(3) $\mathbb{R}^{m\times n}$ ：mxn实矩阵的集合
(4) $\succcurlyeq0$ ：半正定
(5) $\s0$ ：正定
(6) $\nabla$ ：梯度，也有使用G函数代替
(7) $\nabla^2$ ：Hessian矩阵，也有使用H函数代替

三、常见概念

3.1 极值点相关概念

(1) 极值点
(2) 局部最优点、全局最优点
(3) 鞍点
(4) 拐点
(5) 平稳点

3.2 凸集

3.3 上镜图

3.4 凸函数

凸函数判断条件，常见保凸运算，机器学习常见凸函数

四、最优化问题

4.1 一般优化问题和凸优化问题定义

4.1.1 一般优化问题

4.1.2 凸优化问题

线性规划、二次规划

4.2 无约束优化问题

下降法，需要写搜索方法

4.2.1 直接分析法

4.2.2 梯度下降法

4.2.3 最速下降法

4.2.4 共轭梯度法

4.2.5 牛顿法

4.2.6 拟牛顿法

4.3 有约束优化问题

4.3.1 拉格朗日乘数法

4.3.2 拉格朗日对偶法(KKT)

强对偶，弱对偶

4.3.3 内点法

由于机器学习算法几乎不用，故不写

五、机器学习算法凸优化函数分析

5.1 SVM

5.2 逻辑回归

5.3 最大熵模型

5.4 贝叶斯模型

6、总结

事实上，优化问题的分水岭不是线性和非线性，而是凸性和非凸性。

参考文献

[1] 凸优化