小编Nir*_*ala的帖子

在 Python 3 中并行化“for”循环

我正在尝试对 MODIS 卫星数据进行一些分析。我的代码主要读取尺寸为 1200 x 1200 (806*1200*1200) 的大量文件 (806)。它使用 afor loop并执行数学运算。

以下是我读取文件的一般方式。

mindex=np.zeros((1200,1200))
for i in range(1200):
    var1 = xray.open_dataset('filename.nc')['variable'][:,i,:].data
    for j in range(1200):
        var2 = var1[:,j]
        ## Mathematical Calculations to find var3[i,j]## 
        mindex[i,j] = var3[i,j]
Run Code Online (Sandbox Code Playgroud)

由于要处理大量数据,该过程非常缓慢,我正在考虑对其进行并行化。我尝试用 做一些事情joblib,但我一直无法做到。

我不确定如何解决这个问题。

python multiprocessing python-multithreading python-3.x python-multiprocessing

11
推荐指数
1
解决办法
1万
查看次数