如何在 Keras 的每个时期保存训练历史？

Question

我不能让我的电脑整天运行，为此我需要在每个时期后保存训练历史。例如，我在一天内训练了我的模型 100 个 epoch，第二天我想再训练它 50 个 epoch。我需要为整个 150 个时代生成损失与时代和准确度与时代的关系图。我正在使用fit_generator方法。有没有办法在每个时期（最有可能使用Callback）之后保存训练历史？我知道如何在培训结束后保存培训历史。我正在使用 Tensorflow 后端。

Answer 1

Keras 具有 CSVLogger 回调，它似乎完全符合您的需求；从文档：

将纪元结果流式传输到 CSV 文件的回调。

它有一个附加参数用于添加到文件中。再次，从文档中：

追加：布尔值。True：如果文件存在则追加（用于继续培训）。错误：覆盖现有文件

from keras.callbacks import CSVLogger

csv_logger = CSVLogger("model_history_log.csv", append=True)
model.fit_generator(...,callbacks=[csv_logger])

Answer 2

要保存模型历史记录，您有两种选择。

1. 使用keras ModelCheckPoint回调类
2. 创建自定义类

以下是如何创建自定义检查点回调类。

class CustomModelCheckPoint(keras.callbacks.Callback):
    def __init__(self,**kargs):
        super(CustomModelCheckPoint,self).__init__(**kargs)
        self.epoch_accuracy = {} # loss at given epoch
        self.epoch_loss = {} # accuracy at given epoch

    def on_epoch_begin(self,epoch, logs={}):
        # Things done on beginning of epoch. 
        return

    def on_epoch_end(self, epoch, logs={}):
        # things done on end of the epoch
        self.epoch_accuracy[epoch] = logs.get("acc")
        self.epoch_loss[epoch] = logs.get("loss")
        self.model.save_weights("name-of-model-%d.h5" %epoch) # save the model

现在使用回调类

checkpoint = CustomModelCheckPoint()
model.fit_generator(...,callbacks=[checkpoint])

现在checkpoint.epoch_accuracy字典包含给定时期的准确度， checkpoint.epoch_loss字典包含给定时期的损失

Answer 3

我有一个类似的要求，我选择了一种天真的方法。

1.运行50个epochs的Python代码：
我保存了模型的历史和模型本身训练了50个epochs。.history用于存储训练模型的整个历史。

history = model.fit_generator(......) # training the model for 50 epochs
model.save("trainedmodel_50Epoch.h5") # saving the model
with open('trainHistoryOld', 'wb') as handle: # saving the history of the model
    dump(history.history, handle)

2. 加载训练好的模型并训练另外 50 个 epoch 的 Python 代码：

from keras.models import load_model
model = load_model('trainedmodel_50Epoch.h5')# loading model trained for 50 Epochs

hstry = model.fit_generator(......) # training the model for another 50 Epochs

model.save("trainedmodel_50Epoch.h5") # saving the model 

with open('trainHistoryOld', 'wb') as handle: # saving the history of the model trained for another 50 Epochs
    dump(hstry.history, handle)

from pickle import load
import matplotlib.pyplot as plt

with open('trainHistoryOld', 'rb') as handle: # loading old history 
    oldhstry = load(handle)

oldhstry['loss'].extend(hstry['loss'])
oldhstry['acc'].extend(hstry['acc'])
oldhstry['val_loss'].extend(hstry['val_loss'])
oldhstry['val_acc'].extend(hstry['val_acc'])

# Plotting the Accuracy vs Epoch Graph
plt.plot(oldhstry['acc'])
plt.plot(oldhstry['val_acc'])
plt.title('model accuracy')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

# Plotting the Loss vs Epoch Graphs
plt.plot(oldhstry['loss'])
plt.plot(oldhstry['val_loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

您也可以创建自定义类，如前面提供的答案中所述。