如何在TensorFlow中处理具有可变长度序列的批次？

Question

我试图使用RNN(特别是LSTM)进行序列预测.但是,我遇到了可变序列长度的问题.例如,

sent_1 = "I am flying to Dubain"
sent_2 = "I was traveling from US to Dubai"

我正在尝试使用基于此Benchmark的简单RNN来预测当前的下一个词,以构建PTB LSTM模型.

但是,num_steps参数(用于展开到先前的隐藏状态)应该在每个Tensorflow的纪元中保持相同.基本上,由于句子的长度不同,因此无法批量处理句子.

 # inputs = [tf.squeeze(input_, [1])
 #           for input_ in tf.split(1, num_steps, inputs)]
 # outputs, states = rnn.rnn(cell, inputs, initial_state=self._initial_state)

在这里,num_steps每个句子都需要改变我的情况.我尝试了几次黑客攻击,但似乎没有任何效果.

Answer 1

您可以使用以下描述的bucketing和padding的概念:

    序列到序列模型

此外,创建RNN网络的rnn函数接受参数sequence_length.

例如,您可以创建相同大小的句子桶,使用必要数量的零填充它们,或者使用代表零字的占位符,然后将它们与seq_length = len(zero_words)一起提供.

seq_length = tf.placeholder(tf.int32)
outputs, states = rnn.rnn(cell, inputs, initial_state=initial_state, sequence_length=seq_length)

sess = tf.Session()
feed = {
    seq_length: 20,
    #other feeds
}
sess.run(outputs, feed_dict=feed)

看看这个reddit线程:

   具有"可变长度"序列的Tensorflow基本RNN示例

Answer 2

您可以使用dynamic_rnn而不是通过将数组传递给sequence_length参数来指定每个序列的长度.示例如下:

def length(sequence):
    used = tf.sign(tf.reduce_max(tf.abs(sequence), reduction_indices=2))
    length = tf.reduce_sum(used, reduction_indices=1)
    length = tf.cast(length, tf.int32)
    return length

from tensorflow.nn.rnn_cell import GRUCell

max_length = 100
frame_size = 64
num_hidden = 200

sequence = tf.placeholder(tf.float32, [None, max_length, frame_size])
output, state = tf.nn.dynamic_rnn(
    GRUCell(num_hidden),
    sequence,
    dtype=tf.float32,
    sequence_length=length(sequence),
)

代码取自关于该主题的完美文章,请同时检查.

更新:你可以找到另一篇关于vs的精彩帖子dynamic_rnnrnn

Answer 3

您可以使用中描述的分桶和填充的想法

   序列到序列模型

创建 RNN 网络的 rnn 函数也接受参数 sequence_length。

例如，您可以创建相同大小的句子桶，用必要数量的零填充它们，或代表零字的占位符，然后将它们与 seq_length = len(zero_words) 一起提供。

seq_length = tf.placeholder(tf.int32)
outputs, states = rnn.rnn(cell, inputs,initial_state=initial_state,sequence_length=seq_length)

sess = tf.Session()
feed = {
seq_lenght: 20,
#other feeds
       }
sess.run(outputs, feed_dict=feed)

在这里，最重要的是，如果你想利用一个句子获得的状态作为下一个句子的状态，当你提供sequence_length时，（假设是20，填充后的句子是50）。您想要在第 20 个时间步获得的状态。为此，做

tf.pack(states)

在那次通话之后

for i in range(len(sentences)):
state_mat   = session.run([states],{
            m.input_data: x,m.targets: y,m.initial_state: state,     m.early_stop:early_stop })
state = state_mat[early_stop-1,:,:]