机器学习：集成学习

machine-learning

为什么要用集成学习

集成学习是通过训练多个分类器，然后将这些分类器组合起来，以达到更好的预测性能。

集成学习算法主要有Bagging， Boosting， stacking 三类。

Bagging

代表算法： Random Forest

• 采用重抽样方法（有放回抽样）从原始样本中抽取一定数量的样本，得到N个数据集
• 在每个数据集上训练模型
• 分类问题采用N个模型预测投票的方式，回归问题采用N个模型预测平均的方式。

Boosting

代表算法： AdaBoost， GBDT

思想： 学习一系列弱分类器，并将其组合为一个强分类器。

Stacking

Stacking方法是指训练一个模型用于组合其他各个模型。

首先我们先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。

Bagging 与 Boosting

• 二者都采用采样-学习-组合的方式，但细节上有所不同

• Bagging中每个训练集互不相关，也就是每个基分类器互不相关，而Boosting中训练集要在上一轮的结果上进行调整，也使得其不能并行计算

• Bagging中预测函数是均匀平等的，但在Boosting中预测函数是加权的