1700539825
1700539826
表12.1是梯度提升算法和梯度下降算法的对比情况。可以发现，两者都是在每一轮迭代中，利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更新，只不过在梯度下降中，模型是以参数化形式表示，从而模型的更新等价于参数的更新。而在梯度提升中，模型并不需要进行参数化表示，而是直接定义在函数空间中，从而大大扩展了可以使用的模型种类。
1700539827
1700539828
表12.1 梯度提升算法和梯度下降算法的对比
1700539829
1700539830
梯度提升
1700539831
1700539832
函数空间 F
1700539833
1700539834
1700539835
1700539836
1700539837
1700539838
1700539839
1700539840
梯度下降
1700539841
1700539842
参数空间 W
1700539843
1700539844
1700539845
1700539846
1700539847
1700539848
1700539849
1700539850
问题3 GBDT的优点和局限性有哪些？
1700539851
1700539852
难度：★★☆☆☆
1700539853
1700539854
分析与解答
1700539855
1700539856
■ 优点
1700539857
1700539858
（1）预测阶段的计算速度快，树与树之间可并行化计算。
1700539859
1700539860
（2）在分布稠密的数据集上，泛化能力和表达能力都很好，这使得GBDT在Kaggle的众多竞赛中，经常名列榜首。
1700539861
1700539862
（3）采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系，并且也不需要对数据进行特殊的预处理如归一化等。
1700539863
1700539864
■ 局限性
1700539865
1700539866
（1）GBDT在高维稀疏的数据集上，表现不如支持向量机或者神经网络。
1700539867
1700539868
（2）GBDT在处理文本分类特征问题上，相对其他模型的优势不如它在处理数值特征时明显。
1700539869
1700539870
（3）训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提高训练速度。
1700539871
1700539872
1700539873
1700539874