我想使用 TF 2.0 在我的 GPU 集群上运行分布式预测。我使用 MirroredStrategy 训练了一个用 Keras 制作的 CNN 并保存了它。我可以加载模型并在其上使用 .predict()，但我想知道这是否会使用可用的 GPU 自动进行分布式预测。如果没有，我如何运行分布式预测来加速推理并使用所有可用的 GPU 内存？
目前，当运行许多大型预测时，我超出了我的一个 GPU (12GB) 的内存（需要 17GB），并且推理失败，因为它耗尽了内存：
Allocator (GPU_0_bfc) ran out of memory trying to allocate 1.12GiB
但我有多个 GPU，并且也想使用它们的内存。谢谢。