在 tensorflow2.0 中使用多 GPU 进行训练时,perreplica 将通过以下代码减少:
strategy.reduce(tf.distribute.ReduceOp.SUM, per_replica_losses, axis=None)
Run Code Online (Sandbox Code Playgroud)
但是,如果我只想收集(没有“总和减少”或“平均减少”)所有 gpu 的预测到张量中:
per_replica_losses, per_replica_predicitions = strategy.experimental_run_v2(train_step, args=(dataset_inputs,))
# how to convert per_replica_predicitions to a tensor ?
Run Code Online (Sandbox Code Playgroud)