1700499572
1700499573
❑模型落地应用后的效果跟踪也非常关键，主要包括：对于模型的稳定性要结合新的数据来验证，要考虑如何评价运营的挽留效果，如何设置运营组和对照组，如何进行客观公正公平的评价（包括模型效果的评价和运营效果的评价等）。
1700499574
1700499575
❑模型的优化要遵循资源合理应用的总原则。关于模型的优化和限度，第7章有详细的分享和讨论，在此不再过多地扩展讲解。
1700499576
1700499577
❑细分建模也是提升模型效果的一种有效手段。具体针对本项目而言，即开通了WinPort的会员，其流失率7%；未开通Win Port的会员，其流失率高达15%。那么，针对这两类群体分别建模，有可能会提升模型的预测效果和效率。
1700499578
1700499579
❑在项目实践过程中，业务团队的直觉和建议有时候会有“一字千金”的价值，所以要鼓励业务方积极参与模型的讨论和建议。
1700499580
1700499581
❑预测模型的搭建和完善也跟网站分析一样，遵循着“持续优化，永无止境”的规律。
1700499582
1700499583
在上述讨论、交流的基础上，业务团队也提出了很多有价值的建议和意见，在此不一一列举了。但是当数据分析师对截止到当前的进度和成果进行反思时，突然发现了一个以前没有想到、但有可能会非常严重的漏洞。截止到目前为止，无论是数据分析师，还是业务团队都没有考虑到是否有可能从当初高活跃度客户的定义里直接推测出是否有流失的可能性。当初高活跃度的定义主要是依据用户在某入口页面的30天PV量是否超过相应的行业平均值来给出的，那么我们有理由推测，虽然用户在该入口页面的30天PV量大于相应行业的平均值，但是超过的幅度不大，只是超过行业平均值的10%，这样的用户是否更加容易流失呢？这种猜测看上去有道理，但是当初都没有想到。如果这个猜测被验证是正确的，并且效果比上述的预测模型还好，那么这个预测模型就没有意义了。
1700499584
1700499585
在将这个重要的想法及时跟业务方进行沟通后，得到了业务方的理解和支持，那么接下来就要验证该猜想了。首先要增加衍生变量，围绕上述猜想增添了下列衍生变量，主要是衡量用户跟行业平均值的差值和比例，具体衍生变量如图6-3所示。
1700499586
1700499587
1700499588
1700499589
1700499590
图6-3 模型优化时新增的衍生变量一览表
1700499591
1700499592
1700499593
1700499594
1700499595
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497543]
1700499596
数据挖掘与数据化运营实战：思路、方法、技巧与应用 6.7 按优化方案重新抽取样本并建模，提炼结论并验证模型
1700499597
1700499598
在上述优化方案和新增衍生变量的基础上，重新抽取样本，一方面验证之前的重要猜想；另一方面尝试搭建新的模型提升预测效果。
1700499599
1700499600
在随后的数据验证中，虽然之前的猜想不成立，但是通过增加新的衍生变量，重新搭建的预测模型的效果明显要比之前的模型效果好，如图6-4所示。
1700499601
1700499602
1700499603
1700499604
1700499605
图6-4 增添衍生变量后新的模型效果提升明显
1700499606
1700499607
从图6-4可以看出，增加了新的衍生变量之后，模型的整体预测效果和效率相比于前期的模型有了明显的提升和改善，具体数据如下。
1700499608
1700499609
通过神经网络模型得到的分数最高的前10%的用户中，流失率高达47%左右，而样本的整体流失率在10.1%左右；得分最高的前20%的用户中，流失率高达34%；得分最高的前30%的用户中，流失率高达27%。
1700499610
1700499611
通过决策树模型得到的分数最高的前10%的用户中，流失率高达45%左右；得分最高的前20%的用户中，流失率高达33%；得分最高的前30%用户中，流失率高达26%。
1700499612
1700499613
相应的，逻辑回归模型的效果也比之前，没有考虑这些衍生变量时有明显提升，对此读者可以自己对比、评价。
1700499614
1700499615
在对上述的模型效果进行比较后，初步可以认为，目前的神经网络模型相比于其他模型而言，有更好的预测效果，可以更多地有效锁定有流失风险的用户。
1700499616
1700499617
模型建好了，还不能马上提交给业务方进行落地应用，还必须用最新的实际数据来验证模型的稳定性。如果通过相关验证得知模型的稳定性非常好，那无论对模型的效果，还是对项目应用的前景，就都有比较充足的底气了。
1700499618
1700499619
1700499620
1700499621