多层bidirectional_dynamic_rnn:与MultiRNNCell不兼容吗?

oad*_*ams 5 python machine-learning tensorflow

我想在Tensorflow中创建多层双向LSTM。目前,我的单层模型如下所示:

cell_fw = tf.contrib.rnn.LSTMCell(hidden_size)
cell_bw = tf.contrib.rnn.LSTMCell(hidden_size)

(self.out_fw, self.out_bw), _ = tf.nn.bidirectional_dynamic_rnn(cell_fw, cell_bw, input, ...)
Run Code Online (Sandbox Code Playgroud)

为了把它变成一个多层次的,我怀疑我能不能简单地换了几LSTMCells的MultiRNNCell就像这样:

multi_cell_fw = tf.contrib.rnn.MultiRNNCell([cell_fw] * num_layers, ...)
Run Code Online (Sandbox Code Playgroud)

并将它们馈入,bidirectional_dynamic_rnn因为每一层中的前向和后向LSTM都需要前一层的前向和后向方向的输出。目前我的解决方案是创建我的bidirectional_dynamic_rnn在一个循环秒,在前述层的LSTMs的级联输出馈送。

然而,这不是很干净,坦率地说,我不知道这是否是正确的,但它确实在玩具数据集的工作。有没有一种更好的方法可以比拟使用类似的东西MultiRNNCell

我正在使用Tensorflow API r1.0。

小智 1

做就是了:

multi_cell_fw = tf.contrib.rnn.MultiRNNCell([cell_fw for _ in range(num_layers)], ...)

那应该有效。