相关疑难解决方法(0)

我使用TensorFlow编写了一个RNN语言模型.该模型作为一个RNN类实现.图结构是建立在构造函数中,而RNN.train和RNN.test方法运行它.

我想在移动到训练集中的新文档时,或者当我想在训练期间运行验证集时,能够重置RNN状态.我通过管理训练循环内的状态,通过提要字典将其传递到图表中来实现此目的.

在构造函数中,我像这样定义RNN

    cell = tf.nn.rnn_cell.LSTMCell(hidden_units)
    rnn_layers = tf.nn.rnn_cell.MultiRNNCell([cell] * layers)
    self.reset_state = rnn_layers.zero_state(batch_size, dtype=tf.float32)
    self.state = tf.placeholder(tf.float32, self.reset_state.get_shape(), "state")
    self.outputs, self.next_state = tf.nn.dynamic_rnn(rnn_layers, self.embedded_input, time_major=True,
                                                  initial_state=self.state)

训练循环看起来像这样

 for document in document:
     state = session.run(self.reset_state)
     for x, y in document:
          _, state = session.run([self.train_step, self.next_state], 
                                 feed_dict={self.x:x, self.y:y, self.state:state})

x并且y是文档中的批量训练数据.这个想法是我在每个批次之后传递最新状态,除非我开始一个新文档,当我通过运行将状态归零时self.reset_state.

这一切都有效.现在我想更改我的RNN以使用推荐的state_is_tuple=True.但是,我不知道如何通过提要字典传递更复杂的LSTM状态对象.另外我不知道self.state = tf.placeholder(...)在构造函数中传递给行的参数是什么.

这里的正确策略是什么？仍然没有太多dynamic_rnn可用的示例代码或文档.

TensorFlow问题2695和2838似乎相关.

关于WILDML …