因为我有40GB的图像数据集,所以在keras中一次只能在内存中加载一个批次.
如果数据集很小,我可以使用ImageDataGenerator来生成批次,但是由于大型数据集,我无法将所有图像加载到内存中.
在keras中是否有任何方法可以执行类似于以下tensorflow代码的操作:
path_queue = tf.train.string_input_producer(input_paths, shuffle= False)
paths, contents = reader.read(path_queue)
inputs = decode(contents)
input_batch = tf.train.batch([inputs], batch_size=2)
我正在使用此方法序列化tensorflow中的输入,但我不知道如何在Keras中完成此任务.
我试图在Odroid XU4(16GB eMMc,Ubuntu 16)上编译Tensorflow(试过两个:full和lite),但我收到错误显示在数字:https://www.dropbox.com/sh/j86ysncze1q0eka/AAB8RZtUTkaytqfEGivbev_Ga？dl = 0
我使用FlytOS作为操作系统(http://docs.flytbase.com/docs/FlytOS/GettingStarted/OdroidGuide.html).其定制的Ubuntu 16采用OpenCV和ROS设置,安装后可生成11GB.所以,我只有2.4GB免费.因此,我添加了16GB USB作为交换内存.
我没有使用交换内存就安装了Bazel.尝试tensorflow完整版和精简但无法编译.但是,我为Pi下载了编译的tensorflow lite并成功安装在Odroid上.因为,Odroid是Octacore,因此,为了充分利用可用的处理能力,我需要在Odroid上编译tensorflow.
如果任何人在Odroid XU4上编译了tensorflow,请告诉我.
问候,