1700500990
关于卡方检验的具体公式和原理，此处从略，详情可参考本书8.6.5节。
1700500991
1700500992
关于CHAID算法的逻辑，简述如下。
1700500993
1700500994
首先，对所有自变量进行逐一检测，利用卡方检验确定每个自变量和因变量之间的关系。具体来说，就是在检验时，每次从自变量里抽取两个既定值，与因变量进行卡方检验。如果卡方检验显示两者关系不显著，则证明上述两个既定值可以合并。如此，合并过程将会不断减少自变量的取值数量，直到该自变量的所有取值都呈现显著性为止。在对每个自变量进行类似处理后，通过比较找出最显著的自变量，并按自变量最终取值对样本进行分割，形成若干个新的生长结点。
1700500995
1700500996
然后，CHAID在每个新结点上，重复上述步骤，对每个新结点重新进行最佳自变量挑选。整个过程不断重复，直到每个结点无法再找到一个与因变量有统计显著性的自变量对其进行分割为止，或者之前限度的条件得到满足，树的生长就此终止。
1700500997
1700500998
卡方检验适用于类别型变量的检验，如果自变量是区间型的变量（Interval），CHAID改用F检验。
1700500999
1700501000
1700501001
1700501002
1700501004
数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.2.3 CART算法
1700501005
1700501006
CART（Classification and Regression Trees）算法发明于20世纪80年代中期，中文简称分类与回归树。CART的分割逻辑与CHAID相同，每一层的划分都是基于对所有自变量的检验和选择。但是，CART采用的检验标准不是卡方检验，而是Gini（基尼系数）等不纯度指标。两者最大的不同在于CHAID采用的是局部最优原则，即结点之间互不相干，一个结点确定了之后，下面的生长过程完全在结点内进行。而CART则着眼于总体优化，即先让树尽可能地生长，然后再回过头来对树进行修剪（Prune），这一点非常类似统计分析中回归算法里的反向选择（Backward Selection）。CART所生产的决策树是二分的，即每个结点只能分出两枝，并且在树的生长过程中，同一个自变量可以反复多次使用（分割），这些都是不同于CHAID的特点。另外，如果自变量存在数据缺失（Missing）的情况，CART的处理方式是寻找一个替代数据来代替（或填充）缺失值，而CHAID则是把缺失数值作为单独的一类数值。
1700501007
1700501008
1700501009
1700501010
1700501012
数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.2.4 ID3算法
1700501013
1700501014
ID3（Iterative Dichotomiser）与CART发明于同一时期，中文简称迭代的二分器，其最大的特点在于自变量的挑选标准是基于信息增益度量的，即选择具有最高信息增益的属性作为结点的分裂（或分割）属性，这样一来，分割后的结点里分类所需的信息量就会最小，这也是一种划分纯度的思想。至于C4.5，可以将其理解为ID3的发展版本（后继版），主要区别在于C4.5用信息增益率（Gain Ratio)代替了ID3中的信息增益，主要的原因是使用信息增益度量有个缺点，就是倾向于选择具有大量值的属性，极端的例子，如对于Member_id的划分，每个Id都是一个最纯的组，但是这样的划分没有任何实际意义，而C4.5所采用的信息增益率就可以较好地克服这个缺点，它在信息增益的基础上，增加了一个分裂信息（Split Information）对其进行规范化约束。
1700501015
1700501016
1700501017
1700501018
1700501020
数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.2.5 决策树的应用优势
1700501021
1700501022
在数据挖掘的实践应用中，决策树体现了如下明显的优势和竞争力：
1700501023
1700501024
❑决策树模型非常直观，生成的一系列“如果……那么……”的逻辑判断很容易让人理解和应用。这个特点是决策树赢得广泛应用的最主要原因，真正体现了简单、直观、通俗、易懂。
1700501025
1700501026
❑决策树搭建和应用的速度比较快，并且可以处理区间型变量（Interval）和类别型变量（Category）。但是要强调的是“可以处理区间型变量”不代表“快速处理区间型变量”，如果输入变量只是类别型或次序型变量，决策树的搭建速度是很快的，但如果加上了区间型变量，视数据规模，其模型搭建速度可能会有所不同。
1700501027
1700501028
❑决策树对于数据的分布没有特别严格的要求。
1700501029
1700501030
❑对缺失值（Missing Value）很宽容，几乎不做任何处理就可以应用。
1700501031
1700501032
❑不容易受数据中极端值（异常值）的影响。
1700501033
1700501034
❑可以同时对付数据中线性和非线性的关系。
1700501035
1700501036
❑决策树通常还可以作为有效工具来帮助其他模型算法挑选自变量。决策树不仅本身对于数据的前期处理和清洗没有什么特别的要求和限制，它还会有效帮助别的模型算法去挑选自变量，因为决策树算法里结点的自变量选择方法完全适用于其他算法模型，包括卡方检验、Gini指数、信息增益等。
1700501037
1700501038
❑决策树算法使用信息原理对大样本的属性进行信息量分析，并计算各属性的信息量，找出反映类别的重要属性，可准确、高效地发现哪些属性对分类最有意义。这一点，对于区间型变量的分箱操作来说，意义非常重大。关于分箱操作，请参考本书8.5.3节。
1700501039
[
上一页 ]
[ :1.70050099e+09 ]
[
下一页 ]