如何以张量形式从张量流或 Keras 中的混淆矩阵中获得准确性？

Question

我想从混淆矩阵中获取 UAR（未加权精度）来监控验证数据的 UAR。但是，很难处理张量。

https://www.davidtvs.com/keras-custom-metrics/

我参考了这个网站并尝试在 Keras 中创建我自己的指标。我通过使用第一种方法来制作指标，同时使用 Keras 支持的 ModelCheckpoint 和 EarlyStopping。

model.compile(loss='categorical_crossentropy',optimizer=adam, metrics=['accuracy', uar_accuracy])

但是，我不知道如何定义uar_accuracy函数。

            def uar_accuracy(y_true, y_pred):

            # Calculate the label from one-hot encoding
            pred_class_label = K.argmax(y_pred, axis=-1)
            true_class_label = K.argmax(y_true, axis=-1)


            cf_mat = tf.confusion_matrix(true_class_label, pred_class_label )

            diag = tf.linalg.tensor_diag_part(cf_mat)
            uar = K.mean(diag)

            return uar

这个结果returns每个数据权数的平均值class。但我不想要正确数据数量的平均值，但我想要每个 class.

的正确概率的平均值

我该如何实施？

我使用 sklearn.metrics 和 collections 库

为 numpy 类型实现了以下，而不是 Tensor 类型

            def get_accuracy_and_cnf_matrix(label, predict):
            uar = 0
            accuracy = []
            cnf_matrix = confusion_matrix(label, predict)
            diag=np.diagonal(cnf_matrix)
            for index,i in enumerate(diag):
                uar+=i/collections.Counter(label)[index]

            # cnf_marix (Number of corrects -> Accuracy)    
            cnf_matrix = np.transpose(cnf_matrix)
            cnf_matrix = cnf_matrix*100 / cnf_matrix.astype(np.int).sum(axis=0)
            cnf_matrix = np.transpose(cnf_matrix).astype(float)
            cnf_matrix = np.around(cnf_matrix, decimals=2)   

            # WAR, UAR
            test_weighted_accuracy = np.sum(label==predict)/len(label)*100
            test_unweighted_accuracy = uar/len(cnf_matrix)*100    
            accuracy.append(test_weighted_accuracy)
            accuracy.append(test_unweighted_accuracy)

            return np.around(np.array(accuracy),decimals=2), cnf_matrix

Answer 1

您可以使用 tf.reduce_sum 计算混淆矩阵中每一行的总和。这对应于每个 class 的数据点总数。然后将对角线元素除以该行总和，以计算每个 class.

正确预测示例的比率

def non_nan_average(x):
    # Computes the average of all elements that are not NaN in a rank 1 tensor
    nan_mask = tf.debugging.is_nan(x)
    x = tf.boolean_mask(x, tf.logical_not(nan_mask))
    return K.mean(x)


def uar_accuracy(y_true, y_pred):
    # Calculate the label from one-hot encoding
    pred_class_label = K.argmax(y_pred, axis=-1)
    true_class_label = K.argmax(y_true, axis=-1)

    cf_mat = tf.confusion_matrix(true_class_label, pred_class_label )

    diag = tf.linalg.tensor_diag_part(cf_mat)    

    # Calculate the total number of data examples for each class
    total_per_class = tf.reduce_sum(cf_mat, axis=1)

    acc_per_class = diag / tf.maximum(1, total_per_class)  
    uar = non_nan_average(acc_per_class)

    return uar

如何以张量形式从张量流或 Keras 中的混淆矩阵中获得准确性？

How can I get accuracy from confusion matrix in tensorflow or Keras in the form of a tensor?

python

confusion-matrix

keras

tensorflow