陌路茶色/

评价指标理解

本篇归纳遇到的各种评价指标含义

AUC

AUC即Area under curve,ROC曲线下面的面积,简单来说随机抽取一对样本(正负),然后使用训练得到的分类器对这两个样本进行预测,预测得到正样本的概率大于负样本的概率的概率。
$$AUC=P(P_{正样本}>P_{负样本})$$
AUC的计算方法在参考1中有提到两个计算方法,这里只讲解第一种方法如下图所示:
屏幕快照 2020-01-13 上午10.27.56.png
即M个正样本,N个负样本的数据集中,一共有M*N对样本,统计这M*N对样本里,正样本的预测概率大于负样本的预测概率的个数。
AUC可以很好的解决样本不均衡的问题。
下面从ROC曲线上来分析AUC:
首先模型对样本进行预测产生混淆矩阵如下:
屏幕快照 2020-01-13 上午10.55.35.png
由此引入两个概念 True Positive Rate(真阳率),False Positive Rate(伪阳率):
$$TP Rate=\frac{TP}{TP+FN}$$
$$FP Rate=\frac{FP}{FP+TN}$$
TPRate的意义是所有真实类别为1的样本中,预测类别为1的比例
FPRate的意义是所有真实类别为0的样本中,预测类别为1的比例
接着ROC曲线的横轴是FPRate,纵轴是TPRate,如下所示,阴影部分是AUC:
屏幕快照 2020-01-13 上午10.59.47.png

P@1 / MRR

P@1: 在1:K的训练集中,模型按P(Item|User)将数据排序后,正样本排在首位的比例
MRR: 在1:K的训练集中,模型按P(Item|User)将数据排序后,正样本所在的位置在全数据集中的平均值
这两个数据指标是相互补充的,MRR衡量模型排序的平均水平。P@1衡量模型完全正确的优秀率,二者的trade-off在于:
我们既希望有更多的数据被正确的放在第一位, 同时也需要考虑, 即使不在第一位, 至少排在前三位的概率。

参考

1.AUC的计算方法
2.如何理解机器学习和统计中的AUC?
3.推荐系统与CTR预估, 基于深度学习(一):召回思路及模型串讲

留下一条评论

暂无评论