使用classification_report评估Keras模型

Question

问题：

在训练过程中，我的模型的性能看起来相当不错。然而，sklearn 的classification_report 的结果几乎所有地方的精度、召回率和 f1 都为零。我做错了什么导致训练性能和推理之间如此不匹配？（我使用 Keras 和 TensorFlow 后端。）

我的代码：

我使用valiation_split参数生成两个生成器（训练、验证），如下所示：

train_datagen = ImageDataGenerator(
rescale=1. / 255, validation_split=0.15)

train_generator = train_datagen.flow_from_directory(
train_data_dir,
target_size=(img_height, img_width),
batch_size=batch_size,
class_mode='categorical', subset="training")

validation_generator = train_datagen.flow_from_directory(
train_data_dir,
target_size=(img_height, img_width),
batch_size=batch_size,
class_mode='categorical', subset="validation", shuffle=False)

我shuffle=False在validation_generator中进行设置，以确保它不会混合图像和标签的关系以供稍后的评估。

接下来，我像这样训练我的模型：

history = model.fit_generator(
    train_generator,
    steps_per_epoch=nb_train_samples // batch_size,
    epochs=epochs,
    validation_data=validation_generator,
    validation_steps=nb_validation_samples // batch_size,
    verbose=1)

性能还可以：

Epoch 1/5
187/187 [==============================] - 44s 233ms/step - loss: 0.7835 - acc: 0.6744 - val_loss: 1.2918 - val_acc: 0.6079
Epoch 2/5
187/187 [==============================] - 42s 225ms/step - loss: 0.7578 - acc: 0.6901 - val_loss: 1.2962 - val_acc: 0.6149
Epoch 3/5
187/187 [==============================] - 40s 216ms/step - loss: 0.7535 - acc: 0.6907 - val_loss: 1.3426 - val_acc: 0.6061
Epoch 4/5
187/187 [==============================] - 41s 217ms/step - loss: 0.7388 - acc: 0.6977 - val_loss: 1.2866 - val_acc: 0.6149
Epoch 5/5
187/187 [==============================] - 41s 217ms/step - loss: 0.7282 - acc: 0.6960 - val_loss: 1.2988 - val_acc: 0.6297

现在，我按照此处建议的方法提取分类报告的必要信息https://github.com/keras-team/keras/issues/2607#issuecomment-302365916。这给了我以下内容：

validation_steps_per_epoch = np.math.ceil(validation_generator.samples / validation_generator.batch_size)

predictions = model.predict_generator(validation_generator, steps=validation_steps_per_epoch)
# Get most likely class
predicted_classes = np.argmax(predictions, axis=1) 

true_classes = validation_generator.classes
class_labels = list(validation_generator.class_indices.keys())  

最后，我使用以下方法输出分类报告：

from sklearn.metrics import classification_report
report = classification_report(true_classes, predicted_classes, target_names=class_labels)
print(report)    

这会导致到处都是零（参见下面的平均值）：

                   precision    recall  f1-score   support
      micro avg       0.01      0.01      0.01      2100
      macro avg       0.01      0.01      0.01      2100
   weighted avg       0.01      0.01      0.01      2100