Tensorflow GPU 分析

Question

我正在使用 TF keras API 训练模型，我遇到的问题是我无法最大化 GPU 的使用，它在内存和处理方面都未得到充分利用。

在分析模型时，我可以看到许多标记为的操作，_Send我认为这些操作是在 GPU 和 CPU 之间跳跃的一些数据。

由于我使用的是 keras，因此我没有直接在设备上放置变量，因此我不清楚为什么会发生这种情况或如何优化。

另一个有趣的副作用似乎是，较大的批次会使训练速度变慢，GPU 需要等待很长时间才能从 CPU 获取数据。

分析器还建议：

59.4 % of the total step time sampled is spent on 'Kernel Launch'. It could be due to CPU contention with tf.data. In this case, you may try to set the environment variable TF_GPU_THREAD_MODE=gpu_private.

我已在笔记本顶部设置了此环境变量，但没有效果 - 我不清楚如何检查它是否具有预期效果。

非常感谢您在这里的帮助，我已阅读张量流文档上的所有可用指南。