如何估算深度学习需要多少GPU显存？

Question

我们正在尝试使用张量流训练我们的模型以进行对象识别。由于图像太多（100GB），我猜我们当前的GPU服务器（1*2080Ti）无法工作。我们可能需要购买一个更强大的，但我不知道如何估计我们需要多少 GPU 内存。有某种方法来估计需求吗？谢谢！

Answer 1

您的 2080Ti 可以很好地完成您的任务。DL 任务的 GPU 内存取决于许多因素，例如网络中可训练参数的数量、您输入的图像大小、批量大小、浮点类型（FP16 或 FP32）以及激活数量等。我认为您对于一次将所有图像加载到 GPU 内存感到困惑。我们不这样做，而是使用不同大小的小批量将所有图像和参数放入内存中。将任何类型的网络放入您的 2080Ti 并调整批量大小，那么您的训练就会顺利进行。您可以使用 2080Ti，也可以再购买一两个来提高训练速度。这篇博文提供了有关创建最佳深度学习环境的精彩见解。