我的问题是如何从多个(或分片)tfrecords获得批量输入.我已经阅读了示例https://github.com/tensorflow/models/blob/master/inception/inception/image_processing.py#L410.基本的管道,把培训作为集为例,(1)首先产生一系列tfrecords(例如,train-000-of-005,train-001-of-005,...),(2)从这些文件名,生成一个列表并将其塞进了tf.train.string_input_producer获得队列,(3)同时生成一个tf.RandomShuffleQueue做其他的东西,(4)tf.train.batch_join用来生成批量输入.
我认为这很复杂,我不确定这个程序的逻辑.在我的情况下,我有一个.npy文件列表,我想生成分片的tfrecords(多个分离的tfrecords,而不只是一个单个大文件).这些.npy文件中的每一个都包含不同数量的正样本和负样本(2个类).一种基本方法是生成一个单个大型tfrecord文件.但文件太大(~20Gb).所以我采用分片的tfrecords.有没有更简单的方法来做到这一点？谢谢.
当前的TensorFlow数据集交错功能基本上是一个交错的平面图，以单个数据集作为输入。在当前的API下，将多个数据集交织在一起的最佳方法是什么？说他们已经建造好了，我有一个清单。我想从中交替产生元素，并且我想支持包含2个以上数据集的列表（即，堆叠的zip和交错结构非常难看）。
谢谢！:)
@mrry可以提供帮助。
考虑这个问题：从图像数据集（如 ImageNet）中的随机主题中选择随机数量的样本作为 Tensorflow 图的输入元素，该图用作对象集识别器。对于每个批次，每个类都有相同数量的样本以方便计算。但是对于一个类，不同的批次会有不同数量的图像，即 batch_0: num_imgs_per_cls=2; 批次_1000：num_imgs_per_cls=3。
如果 Tensorflow 中存在现有功能，我们将非常感谢从头开始（例如从图像目录）对整个过程的解释。