如何获取 Tensorflow 2.0 中的其他指标（不仅是准确性）？

Question

我是 Tensorflow 领域的新手，我正在研究 mnist 数据集分类的简单示例。我想知道除了准确性和损失（并可能显示它们）之外，我如何获得其他指标（例如精度、召回率等）。这是我的代码：

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.callbacks import TensorBoard
import os 

#load mnist dataset
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

#create and compile the model
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)), 
  tf.keras.layers.Dense(128, activation='relu'), 
  tf.keras.layers.Dropout(0.2), 
  tf.keras.layers.Dense(10, activation='softmax') 
])
model.summary()

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

#model checkpoint (only if there is an improvement)

checkpoint_path = "logs/weights-improvement-{epoch:02d}-{accuracy:.2f}.hdf5"

cp_callback = ModelCheckpoint(checkpoint_path, monitor='accuracy',save_best_only=True,verbose=1, mode='max')

#Tensorboard
NAME = "tensorboard_{}".format(int(time.time())) #name of the model with timestamp
tensorboard = TensorBoard(log_dir="logs/{}".format(NAME))

#train the model
model.fit(x_train, y_train, callbacks = [cp_callback, tensorboard], epochs=5)

#evaluate the model
model.evaluate(x_test,  y_test, verbose=2)

因为我只得到准确率和损失，我怎样才能得到其他指标？提前谢谢你，如果这是一个简单的问题或者如果已经在某处回答了，我很抱歉。

Answer 1

Keras 文档中有一个可用指标列表。包括recall、precision等

例如，recall:

model.compile('adam', loss='binary_crossentropy', 
    metrics=[tf.keras.metrics.Recall()])

Answer 2

从 TensorFlow 2.X 开始，precision 和 recall 都可以作为内置指标使用。

因此，您不需要手动实现它们。除此之外，它们之前在 Keras 2.X 版本中被删除，因为它们具有误导性——因为它们是以批处理方式计算的，精度和召回率的全局（真实）值实际上是不同的.

你可以看这里：https://www.tensorflow.org/api_docs/python/tf/keras/metrics/Recall

现在他们有一个内置的累加器，可以确保正确计算这些指标。

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy',tf.keras.metrics.Precision(),tf.keras.metrics.Recall()])

Answer 3

有关支持的指标列表，请参阅：

tf.keras Metrics

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy',tf.keras.metrics.Precision(),tf.keras.metrics.Recall()])

Answer 4

我无法让 Timbus 的答案起作用，但我找到了一个非常有趣的解释 here。

它说： The meaning of 'accuracy' depends on the loss function. The one that corresponds to sparse_categorical_crossentropy is tf.keras.metrics.SparseCategoricalAccuracy(), not tf.metrics.Accuracy(). 这很有道理。

所以你可以使用什么指标取决于你选择的损失。例如。在 SparseCategoricalAccuracy 的情况下，使用指标 'TruePositives' 将不起作用，因为该损失意味着您正在处理超过 1 class，这反过来意味着无法定义真阳性，因为它仅用于二进制 class化问题。

像 tf.keras.metrics.CategoricalCrossentropy() 这样的损失会起作用，因为它在设计时考虑了多个 class！示例：

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.callbacks import TensorBoard
import time
import os 

#load mnist dataset
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

#create and compile the model
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)), 
  tf.keras.layers.Dense(128, activation='relu'), 
  tf.keras.layers.Dropout(0.2), 
  tf.keras.layers.Dense(10, activation='softmax') 
])
model.summary()

# This will work because it makes sense
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=[tf.keras.metrics.SparseCategoricalAccuracy(),
                       tf.keras.metrics.CategoricalCrossentropy()])

# This will not work because it isn't designed for the multiclass classification problem
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=[tf.keras.metrics.SparseCategoricalAccuracy(),
                       tf.keras.metrics.TruePositives()])

#model checkpoint (only if there is an improvement)

checkpoint_path = "logs/weights-improvement-{epoch:02d}-{accuracy:.2f}.hdf5"

cp_callback = ModelCheckpoint(checkpoint_path,
                              monitor='accuracy',
                              save_best_only=True,
                              verbose=1,
                              mode='max')

#Tensorboard
NAME = "tensorboard_{}".format(int(time.time())) # name of the model with timestamp
tensorboard = TensorBoard(log_dir="logs/{}".format(NAME))

#train the model
model.fit(x_train, y_train, epochs=5)

#evaluate the model
model.evaluate(x_test,  y_test, verbose=2)

就我而言，其他 2 个答案给我的形状不匹配。

Answer 5

我正在添加另一个答案，因为这是在您的测试集上正确计算这些指标的最干净的方法（截至 2020 年 3 月 22 日）。

您需要做的第一件事是创建自定义回调，在其中发送您的测试数据：

import tensorflow as tf
from tensorflow.keras.callbacks import Callback
from sklearn.metrics import classification_report 

class MetricsCallback(Callback):
    def __init__(self, test_data, y_true):
        # Should be the label encoding of your classes
        self.y_true = y_true
        self.test_data = test_data
        
    def on_epoch_end(self, epoch, logs=None):
        # Here we get the probabilities
        y_pred = self.model.predict(self.test_data))
        # Here we get the actual classes
        y_pred = tf.argmax(y_pred,axis=1)
        # Actual dictionary
        report_dictionary = classification_report(self.y_true, y_pred, output_dict = True)
        # Only printing the report
        print(classification_report(self.y_true,y_pred,output_dict=False)

在您的主目录中，加载数据集并添加回调：

metrics_callback = MetricsCallback(test_data = my_test_data, y_true = my_y_true)
...
...
#train the model
model.fit(x_train, y_train, callbacks = [cp_callback, metrics_callback,tensorboard], epochs=5)

如何获取 Tensorflow 2.0 中的其他指标（不仅是准确性）？

How to get other metrics in Tensorflow 2.0 (not only accuracy)?

python

machine-learning

keras

tensorflow

tensorflow2.x

在您的主目录中，加载数据集并添加回调：