如何在tf-slim中使用带有train_loop的evaluation_loop

Question

我正在尝试实现一些不同的模型并在CIFAR-10上训练它们,我想用TF-slim来做到这一点.看起来TF-slim有两个在训练期间有用的主循环:train_loop和evaluation_loop.

我的问题是:使用这些循环的规范方法是什么？作为后续:是否可以使用train_loop提前停止？

目前我有一个模型和训练文件train.py看起来像这样

import ...
train_log_dir = ...

with tf.device("/cpu:0"):
  images, labels, dataset = set_up_input_pipeline_with_fancy_prefetching( 
                                                                subset='train', ... )
logits, end_points = set_up_model( images ) // Possibly using many GPUs
total_loss = set_up_loss( logits, labels, dataset )
optimizer, global_step = set_up_optimizer( dataset )
train_tensor = slim.learning.create_train_op( 
                                      total_loss, 
                                      optimizer,
                                      global_step=global_step,
                                      clip_gradient_norm=FLAGS.clip_gradient_norm,
                                      summarize_gradients=True)
slim.learning.train(train_tensor, 
                      logdir=train_log_dir,
                      local_init_op=tf.initialize_local_variables(),
                      save_summaries_secs=FLAGS.save_summaries_secs,
                      save_interval_secs=FLAGS.save_interval_secs)

到目前为止哪个很棒 - 我的模型都很好地训练和收敛.我可以从train_log_dir所有指标朝着正确方向前进的事件中看到这一点.朝着正确的方向前进让我感到高兴.

但我想检查验证集上的指标是否有所改善.我不知道TF-slim的任何方式与训练循环很好地配合,所以我创建了第二个文件eval.py,其中包含我的评估循环.

import ...
train_log_dir = ...

with tf.device("/cpu:0"):
  images, labels, dataset = set_up_input_pipeline_with_fancy_prefetching( 
                                                                subset='validation', ... )
logits, end_points = set_up_model( images )
summary_ops, names_to_values, names_to_updates = create_metrics_and_summary_ops( 
                                                                logits,
                                                                labels,
                                                                dataset.num_classes() )

slim.get_or_create_global_step()
slim.evaluation.evaluation_loop(
      '',
      checkpoint_dir=train_log_dir,
      logdir=train_log_dir,
      num_evals=FLAGS.num_eval_batches,
      eval_op=names_to_updates.values(),
      summary_op=tf.merge_summary(summary_ops),
      eval_interval_secs=FLAGS.eval_interval_secs,
      session_config=config)

问题:

1)我目前有这个模型用于评估整个GPU的evaluate_loop,但它很少被使用.我假设有更好的方法来分配资源.如果我可以使用相同的evaluation_loop来监视多个不同模型(多个目录中的检查点)的进度,那将是非常好的.这样的事情可能吗？

2)评估和培训之间没有反馈.我正在训练大量的模型,并且很乐意使用早期停止来停止不学习或不融合的模型.有没有办法做到这一点？理想情况下使用验证集中的信息,但如果必须仅基于训练数据也可以.

3)我的工作流程是否全部错误,我应该以不同的方式构建它？从文档中不清楚如何将评估与培训结合使用.

更新 ~~似乎从TF r0.11开始,我在调用时也遇到了段错误slim.evaluation.evaluation_loop.它有时只发生(对我来说,当我将作业发送到集群时).它发生在 - sv.managed_session特定地prepare_or_wait_for_session.~这只是由于评估循环(张量流的第二个实例)试图使用GPU,它已经被第一个实例请求了.

Answer 1

1. evaluate_loop用于(当前正在使用它)与单个目录.如果您想提高效率,可以使用slim.evaluation.evaluate_once并在适当的时候添加适当的逻辑来交换目录.

2. 您可以通过覆盖slim.learning.train(...,train_step_fn)参数来完成此操作.该参数用自定义函数替换'train_step'函数.在这里,您可以提供自定义训练功能,根据您的需要返回"total_loss"和"should_stop"值.

3. 您的工作流程看起来很棒,这可能是使用TF-Slim学习/评估的最常用工作流程.

Answer 2

感谢@kmalakoff,TensorFlow问题为如何在tf.slim培训中验证或测试模型的问题提供了一个很好的方法.主要思想是覆盖train_step_fn功能:

import …
from tensorflow.contrib.slim.python.slim.learning import train_step

...

accuracy_validation = ...
accuracy_test = ...

def train_step_fn(session, *args, **kwargs):
    total_loss, should_stop = train_step(session, *args, **kwargs)

    if train_step_fn.step % FLAGS.validation_every_n_step == 0:
        accuracy = session.run(train_step_fn.accuracy_validation)
        print('your validation info')

    if train_step_fn.step % FLAGS.test_every_n_step == 0:
        accuracy = session.run(train_step_fn.accuracy_test)
        print('your test info')

    train_step_fn.step += 1
    return [total_loss, should_stop] 

train_step_fn.step = 0
train_step_fn.accuracy_validation = accuracy_validation
train_step_fn.accuracy_test = accuracy_test

# run training.
slim.learning.train(
    train_op,
    FLAGS.logs_dir,
    train_step_fn=train_step_fn,
    graph=graph,
    number_of_steps=FLAGS.max_steps)