机器学习3 支持向量机SVM

研究生学习 监督学习 机器学习

机器学习一般框架
训练集 --> 提取特征向量 -->结合算法(分类器,比如决策树,knn)-->得到结果

SVM

寻找区分两类的超平面 使边际(margin)最大
MMH 最大超平面

线性可区分/不可区分
能否用直线把两类区分开

• . 线性可分

超平面定义 : Wx+b=0 W是权重向量 b bias x是训练集

所有坐落在边际两边的超平面上的点 相切的点 被称为 支持向量(support vector)

SVM 复杂度由支持向量的个数决定,和数据维度没关系

• 线性不可分

2.1 利用非线性映射把原数据集中的向量点转化为一个更高维度空间
2.2 在高维空间寻找线性可分平面
2.3 方法 : 核方法(kernel trick)

核函数
h度多项式核函数
高斯经向基核函数
S型核函数

内积:相乘相加

svm多分类
对每一个类 ,可以分成 是这个类 和 不是这个类(one - vs - rest) --> 二分类