如何从 .t​​frecords 文件中选取 TensorFlow 中的特定记录？

Question

我的目标是训练固定数量的时期或步骤的神经网络，我希望每个步骤都使用 .tfrecords 文件中的一批特定大小的数据。

目前我正在使用此循环从文件中读取：

i = 0
data = np.empty(shape=[x,y])

for serialized_example in tf.python_io.tf_record_iterator(filename):

    example = tf.train.Example()
    example.ParseFromString(serialized_example)

    Labels = example.features.feature['Labels'].byte_list.value
    # Some more features here

    data[i-1] = [Labels[0], # more features here]

    if i == 3:
        break
    i = i + 1

print data # do some stuff etc.

我是一个 Python 菜鸟，我怀疑在循环之外创建“i”并在达到某个值时中断只是一种老生常谈。

有没有一种方法可以让我从文件中读取数据，但指定“我想要标签功能中包含的 byte_list 中的前 100 个值”，然后指定“我想要接下来的 100 个值”。

澄清一下，我不熟悉的事情是以这种方式循环文件，我不太确定如何操作循环。

谢谢。

Answer 1

不可能的。TFRecords 是一个流式读取器，不能随机访问。

TFRecords 文件表示一系列（二进制）字符串。该格式不是随机访问，因此它适合传输大量数据，但如果需要快速分片或其他非顺序访问，则不适合。