相关疑难解决方法(0)

我想提交具有大(千兆字节)参数的Dask函数.做这个的最好方式是什么？我想用不同的(小)参数多次运行这个函数.

示例(坏)

这使用concurrent.futures接口.我们可以轻松地使用dask.delayed接口.

x = np.random.random(size=100000000)  # 800MB array
params = list(range(100))             # 100 small parameters

def f(x, param):
    pass

from dask.distributed import Client
c = Client()

futures = [c.submit(f, x, param) for param in params]

但这比我预期的要慢或导致内存错误.