1700539608
“试问其他学科诸如物理学、数学和工程学的学生，25年后会和现在有何区别，答案很简单，没啥区别呗。毕竟两千多年前，阿基米德就在研究物理、微积分和工程，25年的变化又算什么呢。但迅速发展的统计学不一样，谁也不知道25年后会是什么样子。”
1700539609
1700539610
“事实上，我并没有学过任何统计学的课程。我的朋友、同事，曾任斯坦福大学统计系主任的杰里·弗莱曼也没有，他原本是一位实验物理学家。约翰·图基曾经是研究纯数学的。乔治·博克斯曾经是一位化学家。许多其他杰出的统计学家，也是因缘际会，来到统计学这条大船上的。”
1700539611
1700539612
一晃又快过去25年了，如今机器学习领域正如文中当年的统计学一样，迅速发展、不问出身。如果你对登上这条新船还有所犹豫的话，看看布雷曼他们的例子，或许会有共鸣。
1700539613
1700539614
1700539615
1700539616
1700539617
百面机器学习：算法工程师带你去面试 [:1700532240]
1700539618
百面机器学习：算法工程师带你去面试 02 集成学习的步骤和例子
1700539619
1700539620
1700539621
1700539622
场景描述
1700539623
1700539624
虽然集成学习的具体算法和策略各不相同，但都共享同样的基本步骤。本小节希望考察读者对于集成学习基本步骤的理解，并希望结合具体的集成学习算法，详细解读集成学习的具体过程。
1700539625
1700539626
知识点
1700539627
1700539628
集成学习，Adaboost，梯度提升决策树
1700539629
1700539630
问题 集成学习有哪些基本步骤？请举几个集成学习的例子
1700539631
1700539632
难度：★★☆☆☆
1700539633
1700539634
分析与解答
1700539635
1700539636
集成学习一般可分为以下3个步骤。
1700539637
1700539638
（1）找到误差互相独立的基分类器。
1700539639
1700539640
（2）训练基分类器。
1700539641
1700539642
（3）合并基分类器的结果。
1700539643
1700539644
合并基分类器的方法有voting和stacking两种。前者是用投票的方式，将获得最多选票的结果作为最终的结果。后者是用串行的方式，把前一个基分类器的结果输出到下一个分类器，将所有基分类器的输出结果相加（或者用更复杂的算法融合，比如把各基分类器的输出作为特征，使用逻辑回归作为融合模型进行最后的结果预测）作为最终的输出。以Adaboost为例，其基分类器的训练和合并的基本步骤如下。
1700539645
1700539646
（1）确定基分类器：这里可以选取ID3决策树作为基分类器。事实上，任何分类模型都可以作为基分类器，但树形模型由于结构简单且较易产生随机性所以比较常用。
1700539647
1700539648
1700539649
（2）训练基分类器：假设训练集为{xi,yi},i=1,…,N，其中yi{−1,1}，并且有T个基分类器，则可以按照如下过程来训练基分类器。
1700539650
1700539651
1700539652
1700539653
1700539654
1700539655
1700539656
1700539657
初始化采样分布D1(i)=1/N； 令 t = 1, 2,…, T 循环： 从训练集中，按照Dt分布，采样出子集；用St训练出基分类器ht；计算ht的错误率：，其中I[]为判别函数；计算基分类器ht权重；设置下一次采样