在 1 个 GPU 上运行验证，同时在多 GPU Pytorch Lightning 上进行训练

Question

有什么方法可以在使用 DDP 的多 GPU 上validation_step同时在单 GPU 上执行方法吗？training_step

我想要这样做的原因是因为我想要实现几个指标，这些指标需要完全访问数据，并且在单个 GPU 上运行将确保这一点。我尝试过validation_step_end方法，但不知何故我只获得了部分数据。该帖子在这里：Stack Overflow Post

Answer 1

恐怕这是不可能的。但是，TorchMetrics软件包在开发时考虑了多 GPU 支持，因此当您的自定义指标源自 TM 时，您甚至可以在多 GPU 设置上运行。