Tensorflow中的多个会话和图形(在同一过程中)

Question

我正在训练一个模型,其中输入向量是另一个模型的输出.这涉及从检查点文件恢复第一个模型,同时tf.initialize_variables()在同一过程中从头开始(使用)初始化第二个模型.

有大量的代码和抽象,所以我只是粘贴相关部分.

以下是恢复代码:

self.variables = [var for var in all_vars if var.name.startswith(self.name)]
saver = tf.train.Saver(self.variables, max_to_keep=3)
self.save_path = tf.train.latest_checkpoint(os.path.dirname(self.checkpoint_path))

if should_restore:
    self.saver.restore(self.sess, save_path)
else:
    self.sess.run(tf.initialize_variables(self.variables))

每个模型都在其自己的图形和会话中作用域,如下所示:

 self.graph = tf.Graph()
 self.sess = tf.Session(graph=self.graph)

 with self.sess.graph.as_default():
    # Create variables and ops.

每个模型中的所有变量都在variable_scope上下文管理器中创建.

喂食工作原理如下:

• 后台线程调用sess.run(inference_op)上input = scipy.misc.imread(X),并把结果阻塞线程安全的队列.
• 主训练循环从队列中读取并调用sess.run(train_op)第二个模型.

问题:
我观察到,即使在训练的第一次迭代(第二次模型)中,损失值也会在运行中不断变化(并在几次迭代中变为纳米).我确认第一个模型的输出每次都完全相同.注释掉sess.run第一个模型并用来自pickle文件的相同输入替换它不会显示此行为.

这是train_op:

    loss_op = tf.nn.sparse_softmax_cross_entropy(network.feedforward())
    # Apply gradients.
    with tf.control_dependencies([loss_op]):
        opt = tf.train.GradientDescentOptimizer(lr)
        grads = opt.compute_gradients(loss_op)
        apply_gradient_op = opt.apply_gradients(grads)

    return apply_gradient_op

我知道这很模糊,但我很乐意提供更多细节.任何帮助表示赞赏!

Answer 1

由于并发执行不同的会话对象,这个问题肯定会发生.我将第一个模型的会话从后台线程移动到主线程,重复几次受控实验(运行超过24小时并达到收敛)并且从未观察过NaN.另一方面,并​​发执行在几分钟内使模型发散.

我重新构建了我的代码,以便为所有模型使用公共会话对象.