1700539837
1700539838
1700539839
1700539840
梯度下降
1700539841
1700539842
参数空间 W
1700539843
1700539844
1700539845
1700539846
1700539847
1700539848
1700539849
1700539850
问题3 GBDT的优点和局限性有哪些？
1700539851
1700539852
难度：★★☆☆☆
1700539853
1700539854
分析与解答
1700539855
1700539856
■ 优点
1700539857
1700539858
（1）预测阶段的计算速度快，树与树之间可并行化计算。
1700539859
1700539860
（2）在分布稠密的数据集上，泛化能力和表达能力都很好，这使得GBDT在Kaggle的众多竞赛中，经常名列榜首。
1700539861
1700539862
（3）采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系，并且也不需要对数据进行特殊的预处理如归一化等。
1700539863
1700539864
■ 局限性
1700539865
1700539866
（1）GBDT在高维稀疏的数据集上，表现不如支持向量机或者神经网络。
1700539867
1700539868
（2）GBDT在处理文本分类特征问题上，相对其他模型的优势不如它在处理数值特征时明显。
1700539869
1700539870
（3）训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提高训练速度。
1700539871
1700539872
1700539873
1700539874
1700539875
百面机器学习：算法工程师带你去面试 [:1700532244]
1700539876
百面机器学习：算法工程师带你去面试 06 XGBoost与GBDT的联系和区别
1700539877
1700539878
1700539879
1700539880
场景描述
1700539881
1700539882
XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。我们在使用XGBoost平台的时候，也需要熟悉XGBoost平台的内部实现和原理，这样才能够更好地进行模型调参并针对特定业务场景进行模型改进。
1700539883
1700539884
知识点
1700539885
1700539886
XGBoost，GBDT，决策树