Keras可以预取像tensorflow Dataset这样的数据吗?

Sho*_*hen 6 python dataset keras tensorflow

在TensorFlow的Dataset API中,我们可以用来dataset.prefetch(buffer_size=xxx)在GPU处理当前批次的数据时预加载其他批次的数据,因此,我可以充分利用GPU。

我将使用Keras,想知道是否keras有类似的API让我充分利用GPU,而不是串行执行:读取批处理0->处理批处理0->读取批处理1->处理批处理1->。 ..

我简要浏览了一下kerasAPI,但没有看到有关预取的描述。

Roc*_*etq 6

如果调用fit_generatorworkers> 1,USE_ multiprocessing=True,它会预取的queue_size批次。

来自文档:max_queue_size:整数。生成器队列的最大大小。如果未指定,max_queue_size 将默认为 10。

  • 从tensorflow 2.2.0开始,“fit”现在有“workers”和“use_multiprocessing”的参数。我认为根据[本教程],“fit_generator”现在已经成为遗产(https://www.pyimagesearch.com/2018/12/24/how-to-use-keras-fit-and-fit_generator-a-hands-on -pyimagesearch 上的教程/)。 (2认同)