ROC 与 AUC：不依赖阈值的评测

大多数分类器不输出「是」或「否」。它们输出一个 0 到 1 之间的分数——欺诈的概率、垃圾邮件的可能性。你通过选一个阈值把这个分数变成决策：高于阈值算正例，低于算负例。

你算出来的每一个混淆矩阵都绑定在一个阈值上。改阈值，四个格子全都会动。所以一个合理的问题是：抛开你恰好在哪儿划线不谈，这个分数本身有多好？ROC 和 AUC 回答的就是这个。

把阈值扫一遍

想象把阈值从 1.0 一路滑到 0.0。阈值 1.0 时模型几乎什么都不报：真阳性很少，假阳性也很少。阈值 0.0 时它什么都报：抓到了全部真阳性，但每一个可能的误报也都喊了出来。中间地带，两个比率一起往上爬。

每个阈值下，你都能从混淆矩阵里读出两个数：

• 真阳性率（召回率） = TP / (TP + FN)——在所有真阳性里，被抓住的比例。
• 假阳性率 = FP / (FP + TN)——在所有真阴性里，被误报的比例。

ROC 曲线（receiver operating characteristic，这个名字继承自二战时期的雷达）把真阳性率画在纵轴、假阳性率画在横轴，一个阈值一个点。它把一个模型能提供的全部取舍方案描了出来。

怎么读这条曲线

曲线从左下角（阈值 1.0，什么都不报）出发，经过左上角的理想位置，一直延伸到右上角（阈值 0.0，什么都报）。

• 完美的分类器紧贴左上角：在某个阈值上它抓住全部正例（TPR = 1），且零误报（FPR = 0）。
• 没用的分类器——分数纯属随机噪声的那种——落在从左下到右上的对角线上。想抓住 60% 的正例，它就得同时误报 60% 的负例。这个分数里没有任何信号。
• 真实的分类器会鼓到对角线之上。它越往左上方凸，两类分得越开。

这条曲线画的是排序质量：模型是不是倾向于给正例比负例更高的分数？把实际使用的阈值定在哪里，是另一件事、是后一步的决策，由每种错误各自的代价决定。

AUC：把曲线压成一个数

AUC 是 ROC 曲线下方的面积，取值 0 到 1。

• 1.0 = 完美分开。
• 0.5 = 不比随机好（对角线）。
• 低于 0.5 = 比随机还差，通常意味着分数反了。

AUC 有一个干净、值得背下来的解释：**它是模型给随机挑的一个正例打出的分数高于随机挑的一个负例的概率。**AUC 为 0.9 意味着，有 90% 的时候，一个真正的正例排在真正的负例前面。这是一个关于排序的陈述，完全不需要任何阈值——这正是 AUC 成为「在定下工作点之前先比较分类器」标准做法的原因。

AUC 会在哪儿骗人

AUC 不依赖阈值，在特定意义上对类别不平衡也稳健，但它不是万能答案。

**它掩盖了你实际工作在曲线上的哪一段。**两个 AUC 相同的模型，在你不得不待着的那个低假阳性阈值上，表现可能差得很远。如果你的反欺诈团队一天只能跟进 50 条告警，你在意的是那个窄区间里的表现，而不是所有阈值上的平均。

**在严重不平衡时会过度美化。**当负例远多于正例时，即使误报的绝对数量很大，假阳性率也几乎不动，于是 ROC-AUC 看着让人放心，告警列表里却大多是垃圾。在这种情形下，精确率-召回率曲线及其面积（平均精确率）讲的故事更真实，因为精确率对假阳性是直接反应的。稀有事件类问题——欺诈、疾病筛查、检索——通常应该看 PR 曲线。

**它对校准一无所知。**AUC 高说明排序好，不代表分数 0.8 就意味着 80% 的概率是正例。如果你把原始分数当概率用，需要另外做校准检查。

ROC 和 PR 之间怎么选

一条简单的规则：如果两类你都在意，而且数量大致相当，ROC-AUC 是个公道的概括。如果正例稀少、假阳性才是痛点，就用精确率-召回率曲线。只要使用阈值是受约束的，就报曲线而不是只报一个标量——你真正会感受到的，是阈值附近那一段的形状。

要点回顾

• 分类器输出的是分数；阈值把分数变成决策，而每个混淆矩阵都绑定在一个阈值上。
• ROC 曲线把真阳性率对假阳性率画出来，覆盖所有阈值——一张与切点无关的排序质量图。
• AUC = 这条曲线下的面积 = 随机正例排在随机负例前面的概率；0.5 相当于随机，1.0 是完美。
• AUC 会掩盖你真实的工作区间，在严重不平衡时会美化结果——正例稀少时用精确率-召回率曲线。
• AUC 高意味着排序好，不意味着概率校准过；校准要单独检查。

下一篇： 回归指标