打字猴:1.70050021e+09
1700500210 对于区间型变量(Interval),除了进行上面提到的改善分布的转换措施之外,还可以进行另外的转换尝试,即分箱转换。
1700500211
1700500212 分箱转换(Binning)就是把区间型变量(Interval)转换成次序型变量(Ordinal),其转换的主要目的如下:
1700500213
1700500214 ❑降低变量(主要是指自变量)的复杂性,简化数据。比如,有一组用户的年龄,原始数据是区间型的,从20~80岁,每1岁都是1个年龄段;如果通过分箱转换,每10岁构成1个年龄组,就可以有效简化数据。
1700500215
1700500216 ❑提升自变量的预测能力。如果分箱恰当,是可以有效提升自变量和因变量的相关性的,这样就可以显著提升模型的预测效率和效果;尤其是当自变量与因变量之间有比较明显的非线性关系时,分箱操作更是不错的手段,可用于探索和发现这些相关性;另外,当自变量的偏度很大时,分箱操作也是值得积极尝试的方法。
1700500217
1700500218 从上面的分析可以看出,分箱操作的价值与改善分布转换的价值类似,都是努力提升自变量的预测能力,强化自变量与因变量的线性(或非线性)关系,从而可以明显提升预测模型的拟合效果。两者有异曲同工之处,在数据挖掘实践中,经常会对这两种方式分别进行尝试,择其优者而用之。
1700500219
1700500220
1700500221
1700500222
1700500223 数据挖掘与数据化运营实战:思路、方法、技巧与应用 [:1700497574]
1700500224 数据挖掘与数据化运营实战:思路、方法、技巧与应用 8.5.4 数据的标准化
1700500225
1700500226 数据的标准化(Normalization)转换也是数据挖掘中常见的数据转换措施之一,数据标准化转换的主要目的是将数据按照比例进行缩放,使之落入一个小的区间范围之内,使得不同的变量经过标准化处理后可以有平等分析和比较的基础。
1700500227
1700500228 最简单的数据标准化转换是Min-Max标准化,也叫离差标准化,是对原始数据进行线性变换,使得结果在[0,1]区间,其转换公式如下:
1700500229
1700500230
1700500231
1700500232
1700500233 其中,max为样本数据的最大值,min为样本数据的最小值。
1700500234
1700500235 关于数据的标准化转换,将在9.3.2节详细介绍。
1700500236
1700500237 总地来说,数据转换的方式多种多样,操作起来简单、灵活、方便,在实践应用中的价值也是比较明显的。但是,它也有缺点,其中主要的缺点在于,在具体的数据挖掘实践中有些非线性转换如Log转换、平方根转换、多次方转换等的含义无法用清晰的商业逻辑和商业含义向用户(业务应用方)解释。比如,你无法解释“把消费者在线消费金额取对数”在商业上是什么意思,这在一定程度上影响了业务应用方对模型的接受程度和理解能力。
1700500238
1700500239 当然,瑕不掩瑜,毕竟预测模型的最终目的是预测的准确度和精确度,数据转换在商业解释中的这点小小的遗憾当然无损其在强大的数据处理中的重要价值。
1700500240
1700500241
1700500242
1700500243
1700500244 数据挖掘与数据化运营实战:思路、方法、技巧与应用 [:1700497575]
1700500245 数据挖掘与数据化运营实战:思路、方法、技巧与应用 8.6 筛选有效的输入变量
1700500246
1700500247 虽然“筛选有效的输入变量”属于模型搭建的技术问题,可以放在后面有关模型搭建的章节里做专门的介绍,但是这个问题在很大程度上也会涉及数据的清洗、整理、探索等数据处理的技巧,所以这里将“筛选有效的输入变量”作为数据处理技巧来进行深入讲解。
1700500248
1700500249 不同类型的模型对于输入变量的要求各不相同,在本书涉及的各种模型和各种项目中,鉴于预测(响应)和分类模型所涉及的变量的筛选最为复杂,最为常见,所以本节将聚焦预测(响应)和分类模型中的输入变量筛选进行深入讲解,至于聚类中的变量筛选将在9.3.3节做深入讲解,其他类型的模型和应用中的输入变量筛选相对来说非常直观和简单,将在相应章节中进行讲解。
1700500250
1700500251 数据挖掘与数据化运营实战:思路、方法、技巧与应用 [:1700497576]
1700500252 8.6.1 为什么要筛选有效的输入变量
1700500253
1700500254 为什么要筛选有效的输入变量?有以下3个方面的理由:
1700500255
1700500256 ❑筛选有效的输入变量是提高模型稳定性的需要。过多的输入变量很可能会带来干扰和过拟合等问题,这会导致模型的稳定性下降,模型的效果变差。所以,优质的模型一定是遵循输入变量少而精原则的。
1700500257
1700500258 ❑筛选有效的输入变量是提高模型预测能力的需要。过多地输入变量会产生共线性问题,所谓共线性是指自变量之间存在较强的,甚至是完全的线性相关性。当自变量之间高度相关时,数据的小小变化,比如误差的发生都会引起模型参数严重震荡,明显降低模型的预测能力,关于共线性问题,将在8.6.3节做详细介绍。并且,共线性的发生也增加了对模型结果的解释困难,因为要更深入地分析和判断每个自变量对目标变量的影响程度。
1700500259
[ 上一页 ]  [ :1.70050021e+09 ]  [ 下一页 ]