小编TRZ*_*KLO的帖子

如何解决 ray 不断增长的内存使用问题?

我开始使用 ray 进行分布式机器学习,但我已经遇到了一些问题。内存使用量只会增加,直到程序崩溃。尽管我不断清除列表,但内存以某种方式泄漏。知道为什么吗?

我的规格:操作系统平台和发行版:Ubuntu 16.04 Ray 安装自:二进制 Ray 版本:0.6.5 Python 版本:3.6.8

我已经尝试使用实验队列而不是 DataServer 类,但问题仍然相同。

import numpy as np
import ray
import time
ray.init(redis_max_memory=100000000)


@ray.remote
class Runner():
    def __init__(self, dataList):
        self.run(dataList)

    def run(self,dataList):
        while True:
            dataList.put.remote(np.ones(10))

@ray.remote
class Optimizer():
    def __init__(self, dataList):
        self.optimize(dataList)

    def optimize(self,dataList):
        while True:
            dataList.pop.remote()

@ray.remote
class DataServer():
    def __init__(self):
        self.dataList= []

    def put(self,data):
        self.dataList.append(data)

    def pop(self):
        if len(self.dataList) !=0:
            return self.dataList.pop()
    def get_size(self):
        return len(self.dataList)


dataServer = DataServer.remote()
runner = Runner.remote(dataServer)
optimizer1 = Optimizer.remote(dataServer)
optimizer2 = Optimizer.remote(dataServer) …
Run Code Online (Sandbox Code Playgroud)

python memory ray

10
推荐指数
2
解决办法
3731
查看次数

标签 统计

memory ×1

python ×1

ray ×1