1700501351
❑类目专注度。公式是卖家该类目下总的有效商品Offer数量除以该卖家在网站中总的有效商品Offer。因为有足够的理由相信，类目专注度越高，越容易产生成交。
1700501352
1700501353
❑优质商品Offer占比。公式是卖家的优质Offer数量除以该卖家总的有效商品的Offer数量。因为有足够的理由相信，优质的商品Offer越多，越容易产生成交。
1700501354
1700501355
❑可在线交易Offer的占比。公式是卖家的可在线交易Offer数量除以该卖家总的有效商品的Offer数量。
1700501356
1700501357
[1]限于业务方的商业隐私，这些字段和指标的中文含义就不详述了。
1700501358
1700501359
1700501360
1700501361
1700501362
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497636]
1700501363
数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.6.3 建模数据的抽取和清洗
1700501364
1700501365
在完成了前期摸底和变量罗列之后，接下来的工作就是抽取建模数据和熟悉、清洗数据环节了。这个环节的工作量是最大的，它和随后的数据转换环节，所需要消耗的时间占整个数据分析建模项目时间的70%，甚至更多。
1700501366
1700501367
抽取、熟悉、清洗数据的目的主要包括：熟悉数据的分布特征和数据的基本统计指标、发现数据中的缺失值（及规模）、发现数据中的异常值（及规模）、发现数据中明显与业务逻辑相矛盾的错误。这样最终就可以得到比较干净的数据，从而提高随后分析的准确性和后期模型搭建的效果了。
1700501368
1700501369
在本项目的数据清洗过程中，发现了以下的数据错误：
1700501370
1700501371
❑Company_Reg_Capital这个字段有少数的样本夹杂了中文，与绝大多数观察值中的数字格式不一致，容易引起机器的误判，需要直接把这些少数样本删除。
1700501372
1700501373
❑Credit_Status这个字段有将近40%是空缺的，经过业务讨论，决定直接删除该字段。
1700501374
1700501375
❑Bu_Name这个字段是中文输入，属于类别型变量，为了后期数据分析需要，将其转化为数字格式的类别型变量。
1700501376
1700501377
❑Credit_Balance_Amt有将近20%的观察值是N，而其余观察值是区间型数字变量，经过走访数据仓库相关人员，确认这些为N的观察值实际上应该是0。为了后期数据分析需要，将该字段所有为N的观察值替换成0。
1700501378
1700501379
同时，对原始变量进行基本的统计观察，图10-4是各字段的基本统计指标一览表。
1700501380
1700501381
1700501382
1700501383
1700501384
图10-4 各字段的基本统计指标一览表
1700501385
1700501386
1700501387
1700501388
1700501389
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497637]
1700501390
数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.6.4 初步的相关性检验和共线性排查
1700501391
1700501392
在该阶段进行初步的相关性检验，主要有3个目的：一是进行潜在自变量之间的相关性检验后，高度相关的自变量就可以择一进入模型，而不需要都放进去。二是通过相关性检验，排除共线性高的相关字段，为后期的模型搭建做好前期的基础清查工作。三是，如果潜在自变量与目标变量之间的高度线性相关，则可以作为筛选自变量的方法之一进行初步筛选。
1700501393
1700501394
图10-5是相关性检验的部分截屏，从中可以发现，tradable_grade45_offer_bu与valid_sale_offer_cnt线性相关系数为0.668 53，且P值小于0.000 1，这说明这两变量之间有比较强的线性相关性，在后续的建模中至多只能二选一，也就是说只能挑选出来一个作为潜在的自变量，然后根据其他筛选自变量的方法综合考虑是否最终进入模型中。
1700501395
1700501396
1700501397
1700501398
1700501399
图10-5 相关性检验的截屏图
1700501400