我是否需要 GPU 来部署深度学习模型？

Question

我知道我确实需要 GPU 来训练模型，但即使模型训练完成后，我还需要 GPU 来部署相同的训练模型吗？例如，我有一个带有自动驾驶功能的汽车模型来预测并做出决定……我也需要 GPU 来进行预测吗？

特别是在强化学习的情况下

Answer 1

严格来说，根据平台的不同，您通常不需要 GPU 进行训练，只是比使用 GPU 而不是 CPU 慢得多。

部署模型不需要 GPU。大多数模型只是一个有组织的权重列表，模型使用这些权重对其输入进行操作。由于这通常在计算上并不是特别昂贵（除了非常大的模型），因此部署时也不需要 GPU，但可能会为较大的模型提供一些性能优势。