如何使用CUDA刷新GPU内存(物理重置不可用)

Question

在刷新内存之前,我的CUDA程序在执行期间崩溃了.结果,设备内存仍然被占用.

我正在运行GTX 580,但nvidia-smi --gpu-reset不支持.

放置cudaDeviceReset()在程序的开头只会影响进程创建的当前上下文,并且不会刷新在它之前分配的内存.

我正在远程访问具有该GPU的Fedora服务器,因此物理重置非常复杂.

所以,问题是 - 在这种情况下有没有办法刷新设备内存？

Answer 1

检查使用GPU内存的是什么

sudo fuser -v /dev/nvidia*

您的输出将如下所示:

                     USER        PID  ACCESS COMMAND
/dev/nvidia0:        root       1256  F...m  Xorg
                     username   2057  F...m  compiz
                     username   2759  F...m  chrome
                     username   2777  F...m  chrome
                     username   20450 F...m  python
                     username   20699 F...m  python

然后杀了,你不再需要在PID htop或

sudo kill -9 PID.

在上面的例子中,Pycharm吃了大量的内存,所以我杀了20450和20699.

Answer 2

First type

nvidia-smi

then select the PID that you want to kill

sudo kill -9 PID

Answer 3

还可以使用nvtop，它提供的界面与 非常相似htop，但用漂亮的图表显示您的 GPU 使用情况。您还可以直接从此处终止进程。

这是其 Github 的链接： https: //github.com/Syllo/nvtop

Answer 4

虽然除了特殊情况之外的其他任何操作都应该是必要的,但在linux主机上执行此操作的建议方法是通过执行操作来卸载nvidia驱动程序

$ rmmod nvidia 

具有合适的root权限,然后重新加载

$ modprobe nvidia

如果机器正在运行X11,您需要事先手动停止,然后重新启动它.驱动程序初始化过程应该消除设备上的任何先前状态.

这个答案已经从评论中汇总并作为社区维基发布,以便将这个问题从CUDA标签的未答复列表中删除

Answer 5

我也遇到了同样的问题,我在quora中看到了一个很好的解决方案

sudo kill -9 PID.

请参阅https://www.quora.com/How-do-I-kill-all-the-computer-processes-shown-in-nvidia-smi

Answer 6

对于使用python的人：

import torch, gc
gc.collect()
torch.cuda.empty_cache()

Answer 7

杀死 GPU 上的所有进程：

sudo fuser -v /dev/nvidia* -k

Answer 8

在macOS (/ OS X) 上，如果其他人在操作系统上遇到明显泄漏内存的问题：

• https://github.com/phvu/cuda-smi可用于快速检查空闲内存
• 退出应用程序似乎释放了它们使用的内存。退出你不需要的一切，或者一个一个退出应用程序，看看它们使用了多少内存。
• 如果这还不能解决问题（退出大约 10 个应用程序，为我释放了大约 500MB / 15% 的空间），到目前为止最大的消费者是 WindowServer。您可以强制退出它，这也会杀死您正在运行的所有应用程序并将您注销。但这比重新启动要快一些，并且让我回到了 cuda 设备上 90% 的可用内存。