计算多类系统的准确度和精度
calculating accuracy and precision for multiclass system
我目前正在评估输出二进制结果的词袋纹理分类器:
- 真阳性(TP)
- 真阴性(TN)
- 误报(FP)
- 漏报(FN)
我想计算准确度,但不确定我是否正确分配真底片。
我目前正在处理 8 个 类,每次出现真阳性时分配 7 个真阴性,每次出现假阳性时分配 6 个真阴性和一个假阴性。
我不确定我是否应该只在有真阳性时才给真阴性加一个?
这似乎仍然给出了过高的结果,例如这些结果:
TP: 20
FP: 10
TN: 20
FN: 10
准确度:0.66
当像我最初那样分配真底片时,它甚至更高。当只有一半结果正确时准确率不应该是 50% 还是这正常?
您还认为这是衡量分类器准确性的最佳指标还是有更高级的指标?
谢谢
从我读到的内容来看,我最初使用的方法是正确的,尽管标准精度(整体精度)不一定是评估 classifier 的最佳方法。
精度和召回率被广泛使用,因为它们同时代表类型 1 和类型 2 错误。然而,对于单个组合指标,通常使用 F1Measure F1Score 这是精度和召回率的调和平均值,可以使用以下公式计算:
formula.
其他选项,如 ROC 曲线(从真阳性率 (TPR) 和假阳性率 (FPR) 生成),也被使用,但不一定用于多 class 系统。为了使用这些生成单个指标,采用曲线下面积 (AUC),这在很大程度上代表了 classifier 的预测能力。然而,这再次没有广泛用于 multiclass 系统。
我目前正在评估输出二进制结果的词袋纹理分类器:
- 真阳性(TP)
- 真阴性(TN)
- 误报(FP)
- 漏报(FN)
我想计算准确度,但不确定我是否正确分配真底片。
我目前正在处理 8 个 类,每次出现真阳性时分配 7 个真阴性,每次出现假阳性时分配 6 个真阴性和一个假阴性。
我不确定我是否应该只在有真阳性时才给真阴性加一个? 这似乎仍然给出了过高的结果,例如这些结果:
TP: 20
FP: 10
TN: 20
FN: 10
准确度:0.66
当像我最初那样分配真底片时,它甚至更高。当只有一半结果正确时准确率不应该是 50% 还是这正常?
您还认为这是衡量分类器准确性的最佳指标还是有更高级的指标?
谢谢
从我读到的内容来看,我最初使用的方法是正确的,尽管标准精度(整体精度)不一定是评估 classifier 的最佳方法。
精度和召回率被广泛使用,因为它们同时代表类型 1 和类型 2 错误。然而,对于单个组合指标,通常使用 F1Measure F1Score 这是精度和召回率的调和平均值,可以使用以下公式计算: formula.
其他选项,如 ROC 曲线(从真阳性率 (TPR) 和假阳性率 (FPR) 生成),也被使用,但不一定用于多 class 系统。为了使用这些生成单个指标,采用曲线下面积 (AUC),这在很大程度上代表了 classifier 的预测能力。然而,这再次没有广泛用于 multiclass 系统。