打字猴:1.700500974e+09
1700500974 最常见的结点属性选择方法（标准）有信息增益、信息增益率、Gini指数、卡方检验（Chi-Square Statistics）等。在10.2.2～10.2.4节将对它们分别进行介绍。
1700500975
1700500976 决策树的剪枝处理包括两种方式：先剪枝（Prepruning）和后剪枝（Postpruning）。
1700500977
1700500978 所谓先剪枝，就是决策树生长之前，就人为定好树的层数，以及每个结点所允许的最少的样本数量等，而且在给定的结点不再分裂。
1700500979
1700500980 所谓后剪枝，是让树先充分生长，然后剪去子树，删除结点的分枝并用树叶替换。后剪枝的方法更常用。CART算法就包含了后剪枝方法，它使用的是代价复杂度剪枝算法，即将树的代价复杂度看做是树中树叶结点的个数和树的错误率的函数。C4.5使用的是悲观剪枝方法，类似于代价复杂度剪枝算法。
1700500981
1700500982
1700500983
1700500984
1700500985 数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497618]
1700500986 数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.2.2　CHAID算法
1700500987
1700500988 CHAID（Chi-Square Automatic Interaction Detector）算法历史较长，中文简称为卡方自动相互关系检测。CHAID是依据局部最优原则，利用卡方检验来选择对因变量最有影响的自变量的，CHAID应用的前提是因变量为类别型变量（Category）。
1700500989
1700500990 关于卡方检验的具体公式和原理，此处从略，详情可参考本书8.6.5节。
1700500991
1700500992 关于CHAID算法的逻辑，简述如下。
1700500993
1700500994 首先，对所有自变量进行逐一检测，利用卡方检验确定每个自变量和因变量之间的关系。具体来说，就是在检验时，每次从自变量里抽取两个既定值，与因变量进行卡方检验。如果卡方检验显示两者关系不显著，则证明上述两个既定值可以合并。如此，合并过程将会不断减少自变量的取值数量，直到该自变量的所有取值都呈现显著性为止。在对每个自变量进行类似处理后，通过比较找出最显著的自变量，并按自变量最终取值对样本进行分割，形成若干个新的生长结点。
1700500995
1700500996 然后，CHAID在每个新结点上，重复上述步骤，对每个新结点重新进行最佳自变量挑选。整个过程不断重复，直到每个结点无法再找到一个与因变量有统计显著性的自变量对其进行分割为止，或者之前限度的条件得到满足，树的生长就此终止。
1700500997
1700500998 卡方检验适用于类别型变量的检验，如果自变量是区间型的变量（Interval），CHAID改用F检验。
1700500999
1700501000
1700501001
1700501002
1700501003 数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497619]
1700501004 数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.2.3　CART算法
1700501005
1700501006 CART（Classification and Regression Trees）算法发明于20世纪80年代中期，中文简称分类与回归树。CART的分割逻辑与CHAID相同，每一层的划分都是基于对所有自变量的检验和选择。但是，CART采用的检验标准不是卡方检验，而是Gini（基尼系数）等不纯度指标。两者最大的不同在于CHAID采用的是局部最优原则，即结点之间互不相干，一个结点确定了之后，下面的生长过程完全在结点内进行。而CART则着眼于总体优化，即先让树尽可能地生长，然后再回过头来对树进行修剪（Prune），这一点非常类似统计分析中回归算法里的反向选择（Backward Selection）。CART所生产的决策树是二分的，即每个结点只能分出两枝，并且在树的生长过程中，同一个自变量可以反复多次使用（分割），这些都是不同于CHAID的特点。另外，如果自变量存在数据缺失（Missing）的情况，CART的处理方式是寻找一个替代数据来代替（或填充）缺失值，而CHAID则是把缺失数值作为单独的一类数值。
1700501007
1700501008
1700501009
1700501010
1700501011 数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497620]
1700501012 数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.2.4　ID3算法
1700501013
1700501014 ID3（Iterative Dichotomiser）与CART发明于同一时期，中文简称迭代的二分器，其最大的特点在于自变量的挑选标准是基于信息增益度量的，即选择具有最高信息增益的属性作为结点的分裂（或分割）属性，这样一来，分割后的结点里分类所需的信息量就会最小，这也是一种划分纯度的思想。至于C4.5，可以将其理解为ID3的发展版本（后继版），主要区别在于C4.5用信息增益率（Gain Ratio)代替了ID3中的信息增益，主要的原因是使用信息增益度量有个缺点，就是倾向于选择具有大量值的属性，极端的例子，如对于Member_id的划分，每个Id都是一个最纯的组，但是这样的划分没有任何实际意义，而C4.5所采用的信息增益率就可以较好地克服这个缺点，它在信息增益的基础上，增加了一个分裂信息（Split Information）对其进行规范化约束。
1700501015
1700501016
1700501017
1700501018
1700501019 数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497621]
1700501020 数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.2.5　决策树的应用优势
1700501021
1700501022 在数据挖掘的实践应用中，决策树体现了如下明显的优势和竞争力：
1700501023
[ 上一页 ]  [ :1.700500974e+09 ]  [ 下一页 ]