1700499859
1700499860
1700499861
1700499862
❑Precision（精度）：模型的精度是指模型正确识别为正（1）的对象占模型识别为正（1）的观察对象总数的比值，公式如下：
1700499863
1700499864
1700499865
1700499866
1700499867
❑False Positive Rate（错正率）：又叫假正率，模型错误地识别为正（1）的对象数量占实际为负（0）的对象数量的比值，即1减去真负率Specificity,公式如下：
1700499868
1700499869
1700499870
1700499871
1700499872
❑Negative Predictive Value（负元正确率）：模型正确识别为负（0）的对象数量占模型识别为负（0）的观察对象总数的比值，公式如下：
1700499873
1700499874
1700499875
1700499876
1700499877
❑False Discovery Rate（正元错误率）：模型错误识别为正（1）的对象数量占模型识别为正（1）的观察对象总数的比值，公式如下：
1700499878
1700499879
1700499880
1700499881
1700499882
可以很容易地发现，正确率是灵敏性和特效性的函数：
1700499883
1700499884
1700499885
1700499886
1700499887
上述各种基本指标，从各个角度对模型的表现进行了评估，在实际业务应用场景中，可以有选择地采用其中某些指标（不一定全部采用），关键要看具体的项目背景和业务场景，针对其侧重点来选择。
1700499888
1700499889
另一方面，上述各种基本指标看上去很容易让人混淆，尤其是与业务方讨论这些指标时更是如此，而且这些指标虽然从各个不同角度对模型效果进行了评价，但指标之间是彼此分散的，因此使用起来需要人为地进行整合。
1700499890
1700499891
鉴于此，在实际业务应用中，数据分析师更多使用的是其他一些可帮助综合性判断的指标，这些就是7.4.2～7.4.4节将要介绍的ROC曲线、KS值和Lift值。
1700499892
1700499893
1700499894
1700499895
1700499896
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497559]
1700499897
数据挖掘与数据化运营实战：思路、方法、技巧与应用 7.4.2 ROC曲线
1700499898
1700499899
ROC曲线是一种有效比较（或对比）两个（或两个以上）二元分类模型（Binary Models）的可视工具，ROC（Receiver Operating Characteristic，接收者运行特征）曲线来源于信号检测理论，它显示了给定模型的灵敏性（Sensitivity）真正率与假正率（False Positive Rate）之间的比较评定。给定一个二元分类问题，我们通过对测试数据集的不同部分所显示的模型可以正确识别“1”实例的比例与模型将“0”实例错误地识别为“1”的比例进行分析，来比较不同模型的准确率的比较评定。真正率的增加是以假正率的增加为代价的，ROC曲线下面的面积就是比较模型准确度的指标和依据。面积大的模型对应的模型准确度要高，也就是要择优应用的模型。面积越接近0.5，对应的模型的准确率就越低。
1700499900
1700499901
图7-1是两个分类模型所对应的ROC曲线图，其横轴是假正率，其纵轴是真正率，该图同时显示了一条对角线。ROC曲线离对角线越近，模型的准确率就越低。从排序后的最高“正”概率的观察值开始，随着概率从高到低逐渐下降，相应的观察群体里真正的“正”群体则会逐渐减少，而假“正”真“负”的群体则会逐渐增多，ROC曲线也从开始的陡峭变为逐渐水平了。图中最上面的曲线所代表的神经网络模型（Neural）的准确率就要高于其下面的曲线所代表的逻辑回归模型（Reg）的准确率。
1700499902
1700499903
要绘制ROC曲线，首先要对模型所做的判断即对应的数据做排序，把经过模型判断后的观察值预测为正（1）的概率从高到低进行排序（最前面的应该是模型判断最可能为“正”的观察值），ROC曲线的纵轴（垂直轴）表示真正率（模型正确判断为正的数量占实际为正的数量的比值），ROC曲线的横轴（水平轴）表示假正率（模型错误判断为正的数量占实际为负的数量的比值）。具体绘制时，要从左下角开始，在此真正率和假正率都为0，按照刚才概率从高到低的顺序，依次针对每个观察值实际的“正”或“负”进行ROC图形的绘制，如果它是真正的“正”，则在ROC曲线上向上移动并绘制一个点；如果它是真正的“负”，则在ROC曲线上向右移动并绘制一个点。对于每个观察值都重复这个过程（按照预测为“正”的概率从高到低的顺序来绘制），每次对实际上为“正”的在ROC曲线上向上移动一个点，对实际为“负”的在ROC曲线向右移动一个点[1]。当然了，很多数据挖掘软件包已经可以自动实现对ROC曲线的展示了，所以更多的时候只是需要知道其中的原理，并且知道如何评价具体模型的ROC曲线就可以了。
1700499904
1700499905
1700499906
1700499907
1700499908
图7-1 两个分类模型的ROC曲线