带有 GPU 的谷歌合作实验室 `ResourceExhaustedError`

Question

我正在尝试Vgg16使用微调模型，colaboratory但在使用 GPU 进行训练时遇到了此错误。

OOM when allocating tensor of shape [7,7,512,4096]

INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.ResourceExhaustedError'>, OOM when allocating tensor of shape [7,7,512,4096] and type float
     [[Node: vgg_16/fc6/weights/Momentum/Initializer/zeros = Const[_class=["loc:@vgg_16/fc6/weights"], dtype=DT_FLOAT, value=Tensor<type: float shape: [7,7,512,4096] values: [[[0 0 0]]]...>, _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]

Caused by op 'vgg_16/fc6/weights/Momentum/Initializer/zeros', defined at:

我的虚拟机会话也有这个输出：

    --- colab vm info ---
python v=3.6.3
tensorflow v=1.4.1
tf device=/device:GPU:0
model name  : Intel(R) Xeon(R) CPU @ 2.20GHz
model name  : Intel(R) Xeon(R) CPU @ 2.20GHz
MemTotal:       13341960 kB
MemFree:         1541740 kB
MemAvailable:   10035212 kB

我tfrecord的只有 118 个 256x256 JPGfile size <2MB

有解决方法吗？它在我使用 CPU 而不是 GPU 时有效

Answer 1

看到少量可用 GPU 内存几乎总是表明您创建了一个没有该allow_growth = True选项的 TensorFlow 会话。请参阅： https ://www.tensorflow.org/guide/using_gpu#allowing_gpu_memory_growth

如果您不设置此选项，默认情况下，TensorFlow 将在创建会话时保留几乎所有 GPU 内存。

好消息：从本周开始，Colab 现在默认设置此选项，因此当您在 Colab 上使用多个笔记本时，您应该会看到增长速度要低得多。而且，您还可以通过从运行时菜单中选择“管理会话”来检查每个笔记本的 GPU 内存使用情况。

选择后，您将看到一个对话框，其中列出了所有笔记本以及每个笔记本消耗的 GPU 内存。要释放内存，您也可以从此对话框终止运行时。