Keras Sequential fit_generator参数列表中validation_steps的含义

Question

我在Python中使用带有Tensorflow后端的Keras.更精确的tensorflow 1.2.1及其内置的contrib.keras lib.

我想使用fit_generator一个Sequential模型对象,但我对作为方法参数传递的内容感到困惑.

通过阅读这里的文档,我得到了以下信息:

• generator:python训练数据批量生成器; 无休止地循环其训练数据
• validation_data: - 在我的例子中 - 一个python验证数据批处理生成器; doc没有提到对其验证数据的无限循环
• steps_per_epoch:number of training batches = uniqueTrainingData / batchSize
• 验证步骤:???; = uniqueValidationData /批量大小???
• use_multiprocessing:boolean; 不传递不可选择的参数???
• workers:最大使用进程数

如上所示??? 我真的不知道validation_steps是什么意思.我知道上面链接的doc(Number of steps to yield from validation generator at the end of every epoch)的定义,但这只会混淆我在给定的上下文中.从文档中我知道validation_data生成器必须生成数据,在表单中标记元组(inputs, targets).与此相反,上述陈述表明在每个时期结束时必须存在多个"从验证生成器产生的步骤",在这种情况下,这意味着在每个训练时期之后将产生多个验证批次.

关于的问题validation_steps:

• 它真的有那种方式吗？如果是这样:为什么？我认为在每个时期之后,一个验证批次(理想情况下以前没有使用过)用于验证,以确保培训得到验证,而无需"训练"模型以在已使用的验证集上执行得更好.
• 在上一个问题的背景下:为什么建议的验证步骤数量uniqueValidationData / batches不是uniqueValidationData / epochs？例如,100个时期的100个验证批次而不是x验证批次,其中x可能小于或大于指定的时期数量,这不是更好吗？或者:如果你的验证批次比epoches的数量少得多,那么模型是否在没有验证剩余时期的情况下进行训练,或者验证集是否会重复使用/重新洗牌+重复使用？
• 重要的是培训和验证批次具有相同的批次大小(红利trainingDataCount和validationDataCount的共享除数)？

关于的其他问题use_multiprocessing:

• numpy数组是可选的还是我必须将它们转换为多维列表？

Answer 1

验证生成器与训练生成器完全相同.您可以定义每个时期将使用的批次数.

• 训练生成器将产生steps_per_epoch批次.
• 当纪元结束时,验证生成器将产生validation_steps批次.

但验证数据与培训数据完全无关.根据培训批次,没有必要单独验证批次(我甚至会说这样做是没有意义的,除非你有非常具体的意图).此外,训练数据中的样本总数与测试数据中的样本总数无关.

拥有多批次的目的只是为了节省计算机的内存,因此您可以一次测试一个较小的包.您可能会发现批量大小适合您的记忆或预期的训练时间并使用该大小.

也就是说,Keras为您提供了一个完全免费的方法,因此您可以根据需要确定培训和验证批次.

时代:

理想情况下,您一次使用所有验证数据.如果您仅使用部分验证数据,您将获得每个批次的不同指标,可能会让您认为您的模型实际上没有变得更糟或更好,您只是测量了不同的验证集.

这就是他们建议的原因validation_steps = total_validation_samples // validation_batch_size.从理论上讲,理论上你应该在每个时代训练你的整个数据.

所以,从理论上讲,每个时代都会产生:

• steps_per_epoch = TotalTrainingSamples / TrainingBatchSize
• validation_steps = TotalvalidationSamples / ValidationBatchSize

基本上,两个变量是:每个时期会产生多少批次.
这确保了在每个时代:

• 您训练完整的训练集
• 您可以准确验证整个验证集

然而,完全取决于您如何分离培训和验证数据.

如果你想有每一个时代不同批次(使用比你的整个数据少时期),它的确定,只是通过steps_per_epoch=1或validation_steps=1,例如.发电机每个时期后没有重置了,所以第二个时期将采取第二批,依此类推,直到它再次循环到第一批.

我更喜欢每个时期训练整个数据,如果时间太长,我会使用一个callback显示每批末尾的日志:

from keras.callbacks import LambdaCallback

callbacks = callbacks=[LambdaCallback(on_batch_end=lambda batch,logs:print(logs))]

多

我永远无法使用use_multiprocessing=True它,它在第一个时代的开始时冻结.

我注意到这workers与从发电机预装了多少批次有关.如果您定义max_queue_size=1,您将workers预先加载完全数量的批次.

他们建议您在多处理时使用keras序列.序列几乎与生成器一样,但它跟踪每个批次的顺序/位置.