Part1 基本算法的基本思想及优缺点

机器学习

参考书籍： 周志华《机器学习》

线性模型

广义线性模型

将线性模型的预测值作为对$g(y)$的预测

对数线性回归

$g(y) = \ln y$

对数几率回归

1. $g(y) = \ln \frac{y}{1-y}$
2. 优点：
   
   • 直接对分类可能性建模，无需事先假设数据分布，这样就避免了因为假设分布不够准确所带来的问题
   • 不是仅预测出“类别”，而是得到了近似概率预测，这对许多需要利用概率辅助预测的人物很有用
   • 対率函数是任意阶可导的凸函数，现有的许多数值优化算法都可直接用于求解最优解

线性判别分析 LDA

1. 思想： 将训练样本集投影到一条直线上，使得同类别的尽可能靠近，不同类别的尽可能远离
2. 多分类LDA

多分类学习

1. 基本思路就是将多分类人物拆解成若干个二分类任务，而关键就在于如何拆解
2. 拆解方式：
   
   • OvO
   • OvR
   • MoM 前面两个是后面的特例
3. OvO 需要训练$N(N-1)$个分类器，而OvR只需训练N个分类器；但前者每个分类器只需用到两个类别的样例，而后者每个训练器需要用到所有的样例

类别不平衡问题

1. 思路：再放缩，即$\frac{y'}{1-y'} = \frac{y}{1-y} \times \frac{m^-}{m^+}$作为判断的依据
2. 实现方法：
   
   • 欠采样
   • 过采样
   • 阈值移动
3. 再放缩技术也是代价敏感学习的基础