计算多类系统的准确度和精度

calculating accuracy and precision for multiclass system

我目前正在评估输出二进制结果的词袋纹理分类器:

我想计算准确度,但不确定我是否正确分配真底片。

我目前正在处理 8 个 类,每次出现真阳性时分配 7 个真阴性,每次出现假阳性时分配 6 个真阴性和一个假阴性。

我不确定我是否应该只在有真阳性时才给真阴性加一个? 这似乎仍然给出了过高的结果,例如这些结果:

TP: 20

FP: 10

TN: 20

FN: 10

准确度:0.66

当像我最初那样分配真底片时,它甚至更高。当只有一半结果正确时准确率不应该是 50% 还是这正常?

您还认为这是衡量分类器准确性的最佳指标还是有更高级的指标?

谢谢

从我读到的内容来看,我最初使用的方法是正确的,尽管标准精度(整体精度)不一定是评估 classifier 的最佳方法。

精度和召回率被广泛使用,因为它们同时代表类型 1 和类型 2 错误。然而,对于单个组合指标,通常使用 F1Measure F1Score 这是精度和召回率的调和平均值,可以使用以下公式计算: formula.

其他选项,如 ROC 曲线(从真阳性率 (TPR) 和假阳性率 (FPR) 生成),也被使用,但不一定用于多 class 系统。为了使用这些生成单个指标,采用曲线下面积 (AUC),这在很大程度上代表了 classifier 的预测能力。然而,这再次没有广泛用于 multiclass 系统。