Keras fit_generator 上的错误，比应有的步骤多运行了几步

Question

我发现fit_generator()会比应有的多跑几步。
我设置steps_per_epoch=100。i 和 k 都从 0 开始。但是在训练过程结束时，它会打印出k = 109。这种情况仅在添加验证数据时发生。

def data_generate(xfd, yfd, x_line_offset, y_line_offset):

    while True:
        k = 0

        x_line_offset, y_line_offset = shuffle_list(x_line_offset, y_line_offset)

        for i in range(100):
            print('i = {}'.format(i))
            print('k = {}'.format(k))
            k += 1

            x_train = get_line_by_offset(xfd, x_line_offset[i])
            x_train = rescaling(x_train, 0, 65535, 0, 1)
            y_train = get_line_by_offset(yfd, y_line_offset[i])

            yield x_train, y_train

train_generator = data_generate(xfd_train, yfd_train, x_train_line_offset, y_train_line_offset)
validation_generator = data_generate(xfd_valid, yfd_valid, x_valid_line_offset, y_valid_line_offset)

model.fit_generator(train_generator, steps_per_epoch=100,
                    validation_data=validation_generator,
                    validation_steps=len(fix_y_valid_line_offset), epochs=1)

由于它会打印出来k = 109，我认为它还会运行几个步骤。我不知道这是否是错误。但 keras 日志消息在之后不显示k = 99。

Answer 1

这里没有错误，只是一些实现细节。该函数fit_generator()有一个默认参数max_queue_size=10。在用于拟合/评估模型之前，来自train_generator和 的批次将被插入队列中。validation_generator

当第一个 epoch 结束时，会生成 100 个批次 ( k = 99)。然而，生成器将继续生成 10 个批次来填满队列。这就是为什么你要k = 100这么做k = 109。同时，验证过程开始，因此您还会看到k = 0, ...来自validation_generator.