集成算法（Ensemble）

概念

• 目的：让机器学习效果更好，单个不行，群殴走起

• Bagging：训练多个分类器取平均

  • bootstrap aggregation
  • 并行训练一堆分类器
  • 最典型的代表就是随机森林
    • 随机：数据采样随机，特征选择随机
    • 森林：很多个决策树并行放在一起

• Boosting：从弱学习器开始加强，通过加权来进行训练

  • 典型代表：AdaBoost、XGBoost
  • Adaboost会根据前一次的分类效果调整数据权重
  • 如果某一个数据在这次分错了，那么在下一次我就会给它更大的权重
  • 最终的结果：每个分类器根据自身的准确性来确定各自的权重，再合体

• Stacking：聚合多个分类或回归模型（可以分阶段来做）

  • 堆叠：很暴力，拿来一堆直接上（各种分类器都用上）
  • 可以堆叠各种各样的分类器（KNN,SVM,RF等等）
  • 分阶段：第一阶段得出各自结果，第二阶段再用前一阶段结果训练