如何使用 keras.utils.Sequence 数据生成器和 tf.distribute.MirroredStrategy 在张量流中进行多 GPU 模型训练？

Question

我想使用 TensorFlow 2.0 在多个 GPU 上训练模型。在分布式训练的tensorflow教程（https://www.tensorflow.org/guide/distributed_training）中，tf.data数据生成器转换为分布式数据集，如下所示：

dist_dataset = mirrored_strategy.experimental_distribute_dataset(dataset)

但是，我想改用我自己的自定义数据生成器（例如，keras.utils.Sequence数据生成器以及keras.utils.data_utils.OrderedEnqueuer异步批量生成）。但该mirrored_strategy.experimental_distribute_dataset方法仅支持tf.data数据生成器。如何改用 keras 数据生成器？

谢谢你！

Answer 1

我在同样的情况下使用了tf.data.Dataset.from_generator我的keras.utils.sequence，它解决了我的问题！

train_generator = SegmentationMultiGenerator(datasets, folder) # My keras.utils.sequence object

def generator():
    multi_enqueuer = OrderedEnqueuer(train_generator, use_multiprocessing=True)
    multi_enqueuer.start(workers=10, max_queue_size=10)
    while True:
        batch_xs, batch_ys, dset_index = next(multi_enqueuer.get()) # I have three outputs
        yield batch_xs, batch_ys, dset_index

dataset = tf.data.Dataset.from_generator(generator,
                                         output_types=(tf.float64, tf.float64, tf.int64),
                                         output_shapes=(tf.TensorShape([None, None, None, None]),
                                                        tf.TensorShape([None, None, None, None]),
                                                        tf.TensorShape([None, None])))

strategy = tf.distribute.MirroredStrategy()

train_dist_dataset = strategy.experimental_distribute_dataset(dataset)

请注意，这是我的第一个工作解决方案 - 目前我发现最方便的方法是将“无”放在实际输出形状的位置，我发现这是可行的。