相关疑难解决方法(0)

我有一个带有2个GPU的工作站,我正在尝试同时运行多个tensorflow作业,所以我可以同时训练多个模型,等等.

例如,我试图通过在script1.py中使用python API将会话分成不同的资源:

with tf.device("/gpu:0"):
    # do stuff

在script2.py中:

with tf.device("/gpu:1"):
    # do stuff

在script3.py中

with tf.device("/cpu:0"):
    # do stuff

如果我自己运行每个脚本,我可以看到它正在使用指定的设备.(此外,这些模型非常适合单个GPU,即使两者都可用,也不会使用另一个.)

但是,如果一个脚本正在运行并且我尝试运行另一个脚本,我总是会收到此错误:

I tensorflow/core/common_runtime/local_device.cc:40] Local device intra op parallelism threads: 8
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:909] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
I tensorflow/core/common_runtime/gpu/gpu_init.cc:103] Found device 0 with properties: 
name: GeForce GTX 980
major: 5 minor: 2 memoryClockRate (GHz) 1.2155
pciBusID 0000:01:00.0
Total memory: 4.00GiB …