Tensorflow:多GPU单输入队列

Question

在tensorflow的cifar10多GPU示例中,似乎(如果我错了,请纠正我)每个GPU创建一个训练图像队列."正确"的做事方式不是要让所有塔都有一个队列吗？如果是,是否有可用的共享队列示例？

Answer 1

你是对的,CIFAR-10模型的代码使用多个输入队列(通过多次调用cifar10.distorted_inputs()via cifar10.tower_loss()).

在GPU之间使用共享队列的最简单方法是执行以下操作:

1. 将批量大小增加N倍,其中N是GPU的数量.

2. 通过GPU将呼叫cifar10.distorted_inputs()移出循环cifar10.tower_loss()外部.

3. 拆分从第0个(批处理)维度返回的images和labels张量cifar10.distorted_inputs():

   images, labels = cifar10.distorted_inputs()
   split_images = tf.split(0, FLAGS.num_gpus, images)
   split_labels = tf.split(0, FLAGS.num_gpus, labels)
   

4. 修改cifar10.tower_loss()为take images和labelsarguments,并按如下方式调用它:

   for i in xrange(FLAGS.num_gpus):
     with tf.device('/gpu:%d' % i):
       with tf.name_scope('%s_%d' % (cifar10.TOWER_NAME, i)) as scope:
   
         loss = tower_loss(scope, split_images[i], split_labels[i])