【阅读时间】16 - 26 min
【内容简介】系统详解分类器性能指标，什么是准确率 - Accuracy、精确率 - Precision、召回率 - Recall、F1值、ROC曲线、AUC曲线、误差 - Error、偏差 - Bias、方差 - Variance及Bias-Variance Tradeoff
在任何领域，评估（Evaluation）都是一项很重要的工作。在Machine Learning领域，定义了许多概念并有很多手段进行评估工作
确率
定义：对于给定的测试数据集，分类器
正确分类的样本数
与
总样本数
的之比
通过准确率，的确可以在一些场合，从某种意义上得到一个分类器是否有效，但它并不总是能有效的评价一个分类器的工作。一个例子，Google抓取了100个特殊页面，它的索引中有10000000页面。随机抽取一个页面，这是不是特殊页面呢？如果我们的分类器确定一个分类规则：“只要来一个页面就判断为【不是特殊页面】”，这么做的效率非常高，如果计算按照准确率的定义来计算的话，是(9,999,900/10,000,000) = 99.999%。虽然高，但是这不是我们并不是我们真正需要的值，就需要新的定义标准了
对于一个二分类问题来说，将实例分为
正类（Positive/+）
或
负类（Negative/-）
，但在使用分类器进行分类时会有四种情况
-
一个实例是正类，并被预测为正类，记为真正类（True Positive
TP/T+
）
-
一个实例是正类，但被预测为负类，记为假负类（False Negative
FN/F-
）
-
一个实例是负类，但被预测为正类，记为假正类（False Positive
FP/F+
）
-
一个实例是负类，但被预测为负类，记为真负类（True Negative
TN/F-
）
TP和TN中的真表示分类正确，同理FN和FP表示分类错误的
为了全面的表达所有二分问题中的指标参数，下列矩阵叫做
混淆矩阵 - Confusion Matrix
，目的就是看懂它，搞清楚它，所有模型评价参数就很清晰了
通过上面的的讨论已经有
T+:TP
F+:FP
T-:TN
F-:FN
C+:样本正类
C-:样本负类
Pc+:预测正类
Pc-:预测负类
用样本中的正类和负类进行计算的定义
用预测结果的正类和负类进行计算的定义
其他定义概念
最终为了不那么麻烦，说人话，还是
一图胜千言
图片详解：
左边暗一些部分的点都是
真正的正类
，右边亮一些部分的点都是
真正的负类
中间的一个圆圈就是我们的
正类分类器
：注意，这个
圈是的预测结果都是正类
，也就是说在这个分类器看来，它选择的这些元素都是它所认为的
正类
，对应的，当然是圈以外的部分，也就是
预测结果是负类的部分
底下的Precision和Recall示意图也相当的直观，看一下就能明白
ROC - Receiver Operating Characteristic Curve，接受者操作特征曲线，ROC曲线
这个曲线乍看下为啥名称那么奇怪呢，原来这个曲线最早是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军飞机，舰艇等，是一种信号检测理论，还被应用到心理学领域做知觉检测。
ROC曲线和混淆矩阵息息相关，上一部分已经详细解释了相关内容，这里直接说明ROC曲线的横坐标和纵坐标分别是什么
横坐标：FPR假正类率，纵坐标：TPR真正类率
初看之下你不懂一个曲线表示的什么意思，那么看几个特征点或特殊曲线是一个非常好的方法。按照这种方法来分析ROC曲线：
-
第一个点：(0,1)，
FPR=0
TPR=1
，这意味着所有的正类全部分类正确，或者说
这是一个完美的分类器
，将所有的样本都分类正确了
-
第二个点：(1,0)，
FPR=1
TPR=0
，和第一个点比较，这是第一个点的完全反面，意味着是个
最糟糕的分类器
，将所有的样本都分类错误了（但其实可以直接取反，就是最好的模型，因为是二分类问题）
-
第三个点：(0,0)，
FPR=0
