将可变长度张量的集合保存到TensorFlow中的TFRecords文件

Question

我正在尝试将不同长度的张量列表保存到TFRecords文件中,以便以后可以轻松加载它们.所讨论的张量是一维整数数组.

原因是张量是处理大文本文件的结果.这个文件非常大,处理速度很慢,所以每次我想运行算法时都不想重复这个步骤.我最初想过将文本文件加载到常规的Python列表或numpy数组中,然后将它们腌制,但是从这些列表到张量的转换本身需要很长时间,所以我不想每次都要等到运行我的脚本.似乎张量不能直接腌制,即使有一些解决方法,我也认为TFRecords是保存张量数据的"正确"方法.

但是,我不确定如何将张量正确保存到TFRecords文件中,然后将它们作为张量加载回来.我确实通过了TensorFlow教程,其中MNIST数据被保存到TFRecords文件然后加载,但是它和我的用例之间存在一些差异.

以下是一个代码块,旨在复制我在一个更简单的情况下遇到的问题.

import tensorflow as tf

def _int64_list_feature(values):
   return tf.train.Feature(int64_list=tf.train.Int64List(value=values))

filename = "/Users/me/tensorflow/test.tfrecords"
writer = tf.python_io.TFRecordWriter(filename)
example = tf.train.Example(features=tf.train.Features(feature={'datalist': _int64_list_feature([2,3])}))
writer.write(example.SerializeToString())
example = tf.train.Example(features=tf.train.Features(feature={'datalist': _int64_list_feature([8,5,7])}))
writer.write(example.SerializeToString())
writer.close()

前几行是标准的.我将两个1-D张量写入TFRecords文件,一个长度为2,另一个长度为3.

def read_my_file(filename_queue):
    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)
    features = tf.parse_single_example(serialized_example, features={'datalist': tf.VarLenFeature(tf.int64), })
    datalist = features['datalist']
    return datalist

您似乎应该使用的辅助函数.我不是百分之百确定为什么这是必要的,但如果不写这个就无法让它工作,并且所有的例子都有这样的东西.在我的情况下,数据是未标记的,所以我没有标签变量.

filename_queue = tf.train.string_input_producer([filename], 2)
datalists = read_my_file(filename_queue)
datalists_batch = tf.train.batch([datalists], batch_size=2)

来自示例的更多"样板"式代码.批量大小为2,因为此代码中只有2个示例.

datalists_batch现在将是一个包含我的向量的稀疏张量,[2, 3]并且[8, 5, 7]第一个在第二个之上.因此,我想将它们分解为单独的张量.在这一点上,我已经担心这个运行时间也可能很长,因为在我的实际代码中有超过100,000个单独的张量将被拆分.

split_list = tf.sparse_split(0, 2, datalists_batch)
sp0 = split_list[0]
sp1 = split_list[1]
sp0_dense = tf.sparse_tensor_to_dense(sp0)
sp1_dense = tf.sparse_tensor_to_dense(sp1)
sp0_dense = tf.squeeze(sp0_dense)
sp1_dense = tf.squeeze(sp1_dense)

split_list现在是各个张量的列表,仍然是稀疏格式(并且所有张量都等于最长张量的长度,在这种情况下为3.它们也是二维的,另一个维度1,因为datalists_batch张量是2D).我现在必须操纵张量以使它们变成适当的格式.在实际代码中,我当然会使用for循环,但在这种情况下只有2个例子.首先,我将它们转换为密集张量.然而,在sp0这个用a填充最后一个索引的情况下0,因为这个张量有3个长度.(这个问题在下面讨论.)然后,我"挤"它们以便它们实际上被认为是长度为3而不是1x3的张量.

最后,我需要删除尾随零sp0.这部分给了我很大的困难.我不能以编程方式知道特定张量有多少尾随零.它等于最长张量的长度减去这个张量的长度,但我不知道张量的"实际"长度而不看稀疏索引,但我不能在不评估"临时"张量的情况下访问它(因为指数本身就是张量).

indices_0 = sp0.indices
indices_1 = sp1.indices
indices0_size = tf.shape(indices_0)
indices1_size = tf.shape(indices_1)

这些是上述切片操作所必需的.

sess = tf.Session()
init_op = tf.initialize_all_variables()
sess.run(init_op)
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)

初始化.

sp0_fixed = tf.slice(sp0_dense, [0], [sess.run(indices0_size[0])])
sp1_fixed = tf.slice(sp1_dense, [0], [sess.run(indices1_size[0])])
sess.run(sp0_fixed)
sess.run(sp1_fixed)

我就是这样做的.问题是,在运行最后三个命令时我遇到了奇怪的错误.我推测问题是我在sess.run之后已经调用了(sp0_fixed在行中)我正在创建新的操作,因此图形正在同时运行.我想我应该只运行一次sess.run.然而,这使得我无法找出切割每个张量的正确索引(以去除尾随零).因此,我不知道接下来该做什么.

我惊讶地发现在Google,TensorFlow文档和StackOverflow上如何做这样的事情(保存和加载文件中的可变长度张量)没有任何帮助.我很确定我会以错误的方式解决这个问题.即使有一个解决方法来重写最后四行以使程序正常运行,代码总体来说执行一个非常基本的功能似乎过于复杂.

我非常感谢任何建议和反馈.

Answer 1

我对 tfRecords 没有太多经验，但这是使用 tfRecords 存储和检索可变长度数组的一种方法

写一个tfrecord

# creating a default session we'll use it later 

sess = tf.InteractiveSession( )

def get_writable( arr ):
    """
        this fucntion returns a serialized string 
        for input array of integers
        arr : input array
    """
    arr = tf.train.Int64List( value = arr)
    arr = tf.train.Feature(int64_list= arr )
    arr = tf.train.Features(feature =  { 'seqs': arr})
    arr = tf.train.Example( features = arr)
    return arr.SerializeToString()


filename = "./test2.tfrecords"
writer = tf.python_io.TFRecordWriter(filename)

#writing 3 different sized arrays 
writer.write( get_writable([1,3,5,9]))
writer.write( get_writable([2,7,9]))
writer.write( get_writable([3,4,6,5,9]))
writer.close()

将数组写入“test2.tfrecord”

读取文件

##Reading from the tf_record file 

## creating a filename queue 
reader = tf.TFRecordReader( )
filename_queue = tf.train.string_input_producer(['test2.tfrecords'])

##getting the reader 
_, ser_ex = reader.read(filename_queue, )

##features that you want to extract 
read_features = {
    'seqs' : tf.VarLenFeature(dtype = tf.int64)
}
batchSize  = 2
# before parsing examples you must wrap it in tf.batch to get desired batch size  
batch = tf.train.batch([ser_ex], batch_size= batchSize , capacity=10)
read_data = tf.parse_example( batch, features= read_features )
tf.train.start_queue_runners( sess) 
# starting reading queues are requred before reding the data  

现在我们准备读取 tfRecord 文件的内容

batches = 3
for _ in range(batches):

    #get the next sparse tensor of shape (batchSize X elements in the largest array ) 
    #every time you invoke read_data.values()

    sparse_tensor = (list(read_data.values())[0]).eval()

    # as the batch size is larger than 1 
    # you'd want seperate lists that you fed 
    #at the time of writing the tf_record file 

    for i in tf.sparse_split(axis=  0, num_split=batchSize, sp_input= sparse_tensor  ):
        i = i.eval()
        shape =  [1, (i).indices.shape[0]] 
        #getting individual shapes of different sparse tensors  
        tens = tf.sparse_to_dense(sparse_indices=i.indices ,sparse_values= i.values , output_shape= shape) 
        #converting them into dense tensors
        print(tens.eval()) 
        #evaluating the final Dense Tensor 

查看这篇文章，对 tfRecords 入门有很好的解释