1700499980
1700499981
图7-6 模型响应率曲线
1700499982
1700499983
从图7-6可以发现，最上面的一条线是神经网络模型的响应率曲线，在概率得分从高到低排序的前10%的观察对象中，有70%是实际上属于正（1）的；前20%的观察对象中，有将近63%是实际上属于正（1）的，在后面的观察对象也可以依次找出对应的响应率。
1700499984
1700499985
捕获率是指上述经过概率分数排序后的某区间段或累计区间的观察对象中，属于正（1）的观察对象占全体观察对象中属于正（1）的总数的百分比。捕获率顾名思义就是某区间或累计区间模型可以抓住的正（1）的观察对象占总体，正（1）的观察对象的比例，如图7-7所示。
1700499986
1700499987
从图7-7可以看出，最上面的一条线是神经网络模型的捕获率曲线，在概率得分从高到低排序的前10%的观察对象中，实际是正（1）的观察对象占全部正（1）总体数量的近25%；前20%的观察对象中，实际是正（1）的观察对象占全部正（1）总体数量的近44%。
1700499988
1700499989
1700499990
1700499991
1700499992
图7-7 模型捕获率曲线
1700499993
1700499994
1700499995
1700499996
1700499997
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497562]
1700499998
数据挖掘与数据化运营实战：思路、方法、技巧与应用 7.4.5 模型稳定性的评估
1700499999
1.7005e9
到目前为止，本章对于模型评估的内容都是侧重于模型本身的精度、准确度、效果、效率等的总结和分享。其实，对于模型的评估主要是从两个方面来进行考虑的，一方面就是模型的精度、准确度、效果、效率等，如前面所介绍的内容，另一方面就是对模型稳定性的评估。一个模型无论多么准确，多么有效，如果其表现不稳定，也是无法投入业务落地应用的。
1700500001
1700500002
一个模型搭建完成后，即使它在训练集和验证集里表现都令人满意，也并不能说现在这个模型就可以投入业务应用了，我们仍然有相当的理由怀疑模型在面对新的数据时是否也能有稳定的表现。这个怀疑的理由是充分的，也是必要的，因为不能排除模型过拟合的情况产生，也不能排除不同时间窗口的业务背景会产生重大变化，包括模型此刻的表现还有一点偶然的成分等因素，都有理由要我们对模型的稳定性进行进一步评估。
1700500003
1700500004
考察稳定性最好的办法就是抽取另外一个时间段（时间窗口）的数据，最好是最新时间的数据，通过模型对这些新数据、新对象进行预测（打分），然后与实际情况进行比较（参考本章前面所介绍的关于模型准确度、效果、效率的评估指标和方法），并且跟模型在测试集和验证集里的表现相比较，看模型是否稳定，其效果衰减的幅度是否可以接受，如果条件许可，最好用几个不同时间窗口的数据分别进行观察比较，多比较、多测试才有说服力。
1700500005
1700500006
1700500007
1700500008
1700500009
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497563]
1700500010
数据挖掘与数据化运营实战：思路、方法、技巧与应用 第8章 常见的数据处理技巧
1700500011
1700500012
工欲善其事，必先利其器。
1700500013
1700500014
——《论语·卫灵公》
1700500015
1700500016
8.1 数据的抽取要正确反映业务需求
1700500017
1700500018
8.2 数据抽样
1700500019
1700500020
8.3 分析数据的规模有哪些具体的要求
1700500021
1700500022
8.4 如何处理缺失值和异常值
1700500023
1700500024
8.5 数据转换
1700500025
1700500026
8.6 筛选有效的输入变量
1700500027
1700500028
8.7 共线性问题
1700500029