1700500109
❑直接删除带有缺失值的数据元组（或观察对象）。这种操作手法最大的好处在于删除带缺失值的观察对象后，留下来的数据全部是有完整记录的，数据很干净，删除的操作步骤也很简单方便。但是，此种操作手法最大的不足在于，如果数据缺失的比例很大，直接删除带有缺失值的观察值后剩下的用于分析挖掘用的数据集可能会太少，不足以进行有效的分析挖掘；其次，直接删除含有缺失值的观察对象很可能会丢失一些重要的信息，因为这些被删除的观察对象还可能包含了很多没有缺失的别的字段或者变量的属性，这些属性或者数据也是很有意义的；另外，在建模完成后进行业务应用时，如果用来打分的新数据也带有缺失值，那么先前完全基于不带缺失值的分析样本所搭建起来的预测模型，面对这些数据进行打分预测时，很有可能无法对此进行打分赋值。所以，直接删除带有缺失值的观察对象的方法只适用于建模样本里缺失值比例很少，并且后期打分应用中的数据的缺失值比例也很少的情况。
1700500110
1700500111
❑直接删除有大量缺失值的变量。这种方法是针对那些缺失值占比超过相当比例变量,比如缺失值超过20%或者更多的情况。但是采用这种方法之前需要仔细考虑，这种大规模的缺失是否有另外的商业背景和含义，比如前面提到的信用卡激活日期的缺失实际上表明这些用户还没有激活信用卡，那么这群用户是属于另外一个类别，即还未激活的用户群体，在这种情况下，轻率地删除就会丢失这群用户的重要信息，得不偿失。
1700500112
1700500113
❑对缺失值进行替换（Substitute）。这种方法包括利用全集中的代表性属性，诸如众数或者均值等，或者人为定义的一个数据去代替缺失值的情况。具体来说，包括：对于类别型变量（Category）而言，用众数或者一个崭新的类别属性来代替缺失值；对于次序型变量（Ordinal）和区间型变量（Interval）而言，用中间值、众数、最大值、最小值、用户定义的任意其他值、平均值或仅针对区间型变量来代替缺失值。上述对缺失值进行替换的做法最大的好处在于简单、直观，并且有相当的依据，比如说，众数本身就说明了该值出现的几率最大。但是，不管怎么说，这种替换毕竟是人为的替换，不能完全代表缺少数据本身真实的含义，所以也属于“不得已而为之”的策略。
1700500114
1700500115
❑对缺失值进行赋值（Impute）。这种方法将通过诸如回归模型、决策树模型、贝叶斯定理等去预测缺失值的最近替代值，也就是把缺失数据所对应的变量当做目标变量，把其他的输入变量作为自变量，为每个需要进行缺失值赋值的字段分别建立预测模型。从理论上看，该种方法最严谨，但是成本较高，其包括时间成本和分析资源的投入成本。是否采用该方法，取决于具体数据挖掘的业务背景、数据资源质量以及需要投入的力度。
1700500116
1700500117
1700500118
1700500119
1700500121
数据挖掘与数据化运营实战：思路、方法、技巧与应用 8.4.2 异常值的判断和处理
1700500122
1700500123
数据样本中的异常值（Outlier）通常是指一个类别型变量（Category）里某个类别值出现的次数太少、太稀有,比如出现的频率只占0.1%或更少，或者指一个区间型变量（Interval）里某些取值太大，比如，互联网买家用户最近30天在线购买的交易次数，个别用户可以达到3000次，平均每天购买100次，相比数据全集里该字段均值为2次而言，这里的3000交易次数就属于异常值。
1700500124
1700500125
通常来讲，如果不把异常值清理掉，对于数据分析结论或者挖掘模型效果的负面影响是非常大的，很可能会干扰模型系数的计算和评估，从而严重降低模型的稳定性。
1700500126
1700500127
对于异常值的判断内容如下：
1700500128
1700500129
❑对于类别型变量（Category）来说，如果某个类别值出现的频率太小，太稀有，就可能是异常值。具体拿经验值来参考，一般某个类别值的分布占比不到1%或者更少就很可能是异常值了。当然，这还需要数据分析师根据具体项目的业务背景和数据实际分布作出判断和进行权衡。有些情况下，纵然某个类别值的占比很少，但是如果跟目标变量里的目标事件有显著的正相关关系，这种稀有类别值的价值就不是简单的异常值所可以代表的。
1700500130
1700500131
❑对于区间型变量（Interval）来说，最简单有效的方法就是把所有的观察对象按照变量的取值按从小到大的顺序进行排列，然后从最大的数值开始倒推0.1%甚至更多的观察值，这些最大的数值就很可能属于异常值，可再结合业务逻辑加以判断。另外一个常用的判断异常值的方法就是以“标准差”作为衡量的尺度，根据不同的业务背景和变量的业务含义，把超过均值n个标准差以上的取值定义为异常值，这里n的取值范围取决于具体的业务场景和不同变量的合理分布，比如超过均值在正负4个标准差以上的数值就要认真评估，确定其是否是异常值。
1700500132
1700500133
对于异常值的处理相对来说就比较简单，主要的措施就是直接删除。
1700500134
1700500135
需要提醒读者的是，在数据挖掘实践中，对于“异常值”的处理是辩证的，在多数情况下，异常值的删除可以有效降低数据的波动，使得处理后的建模数据更加稳定，从而提高模型的稳定性。但是，在某些业务场景下，异常值的应用却是另一个专门的业务方向。比如在前面章节里提到的信用体系中的恶意欺诈事件，从数据分析的角度来看那也是对异常值的分析挖掘应用。对这些有价值的异常值的分析应用包括利用聚类分析技术识别异常值，利用稀有事件的预测模型搭建去监控、预测异常值出现的可能性等。这些应用，将在第9章和第10章专门进行介绍。
1700500136
1700500137
1700500138
1700500139
1700500141
数据挖掘与数据化运营实战：思路、方法、技巧与应用 8.5 数据转换
1700500142
1700500143
对于数据挖掘分析建模来说，数据转换（Transformation）是最常用、最重要，也是最有效的一种数据处理技术。经过适当的数据转换后，模型的效果常常可以有明显的提升，也正因为这个原因，数据转换成了很多数据分析师在建模过程中最喜欢使用的一种数据处理手段。另一方面，在绝大多数数据挖掘实践中，由于原始数据，在此主要是指区间型变量（Interval）的分布不光滑（或有噪声）、不对称分布（Skewed Distributions），也使得数据转化成为一种必需的技术手段。
1700500144
1700500145
按照采用的转换逻辑和转换目的的不同，数据转换主要可以分为以下四大类：
1700500146
1700500147
❑产生衍生变量。
1700500148
1700500149
❑改善变量分布特征的转换，这里主要指对不对称分布（Skewed Distributions）所进行的转换。
1700500150
1700500151
❑区间型变量的分箱转换。
1700500152
1700500153
❑针对区间型变量进行的标准化操作。
1700500154
1700500156
8.5.1 生成衍生变量
1700500157
1700500158
这类转换的目的很直观，即通过对原始数据进行简单、适当的数学公式推导，产生更加有商业意义的新变量。举个简单的例子，在对原始数据中的用户出生年月日进行处理时，把当前的年月日减去用户出生年月日，得到一个新的字段“用户年龄”，这个新的字段作为一个区间型变量（Interval）明显比原始变量用户出生年月日要更有商业含义，也更加适合进行随后的数据分析建模应用。一般常见的衍生变量如下。
[
上一页 ]
[ :1.700500109e+09 ]
[
下一页 ]