1700539867
1700539868
（2）GBDT在处理文本分类特征问题上，相对其他模型的优势不如它在处理数值特征时明显。
1700539869
1700539870
（3）训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提高训练速度。
1700539871
1700539872
1700539873
1700539874
1700539875
百面机器学习：算法工程师带你去面试 [:1700532244]
1700539876
百面机器学习：算法工程师带你去面试 06 XGBoost与GBDT的联系和区别
1700539877
1700539878
1700539879
1700539880
场景描述
1700539881
1700539882
XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。我们在使用XGBoost平台的时候，也需要熟悉XGBoost平台的内部实现和原理，这样才能够更好地进行模型调参并针对特定业务场景进行模型改进。
1700539883
1700539884
知识点
1700539885
1700539886
XGBoost，GBDT，决策树
1700539887
1700539888
问题 XGBoost与GBDT的联系和区别有哪些？
1700539889
1700539890
难度：★★★☆☆
1700539891
1700539892
分析与解答
1700539893
1700539894
原始的GBDT算法基于经验损失函数的负梯度来构造新的决策树，只是在决策树构建完成后再进行剪枝。而XGBoost在决策树构建阶段就加入了正则项，即
1700539895
1700539896
1700539897
，
1700539898
1700539899
（12.2）
1700539900
1700539901
其中Ft−1(xi)表示现有的t−1棵树最优解。关于树结构的正则项定义为
1700539902
1700539903
1700539904
，
1700539905
1700539906
（12.3）
1700539907
1700539908
其中T为叶子节点个数，wj表示第j个叶子节点的预测值。对该损失函数在Ft−1处进行二阶泰勒展开可以推导出
1700539909
1700539910
1700539911
1700539912
1700539913
（12.4）
1700539914
1700539915
1700539916
