[关闭]
@JeemyJohn 2017-12-24T20:33:24.000000Z 字数 557 阅读 1134

基于决策树的集成算法详解

机器学习


1. 决策树算法

2. 随机森林算法

3. XGBoost算法

4. LightGBM算法

5. XGBoost与LightGBM对比

对比项 XGBoost LightGBM
正则化 L1/L2 L1/L2
列采样 yes yes
Exact Gradient yes yes
近似算法 yes no
稀疏数据 yes yes
分布式并行 yes yes
缓存 yes no
out of core yes no
加权数据 yes yes
树增长方式 level-wise leaf-wise
基于算法 pre-sorted histgram
最大树深度控制
dropout no yes
Bagging yes yes
用途 回归、分类、rank 回归、分类、lambdrank
GPU支持 no yes
网络通信 point-to-point collective-communication
CategoricalFeatures 无优化 优化
Continued train with input GBDT model no yes
Continued train with input no yes
Early Stopping(both training and prediction) no yes
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注