小编jea*_*nie的帖子

将 numba 与 np.concatenate 并行使用效率不高?

I\xe2\x80\x99m 在高效并行化方面遇到一些麻烦np.concatenate。这是一个最小的工作示例。(我知道在这里我可以分别对ab求和,但我专注于并行连接操作,因为这是我在项目中需要做的事情。然后我将对连接数组进行进一步的操作,例如排序。)

\n

无论我在多少个核心上运行此程序,它似乎总是花费相同的时间(约 10 秒)。如果说有什么不同的话,那就是核心数越多,速度就越慢。我尝试在装饰器中使用 cc 来释放 GIL nogil=True,但没有成功。请注意,即使没有加速,所有核心在计算过程中显然都在使用。

\n

有谁能够帮助我?

\n

非常感谢

\n
from numba import prange, njit\nimport numpy as np\n\n\n@njit()\ndef cc():\n\n    r = np.random.rand(20)\n    a = r[r < 0.5]\n    b = r[r > 0.7]\n\n    c = np.concatenate((a, b))\n\n    return np.sum(c)\n\n\n@njit(parallel=True)\ndef cc_wrap():\n    n = 10 ** 7\n    result = np.empty(n)\n    for i in prange(n):\n        result[i] = cc()\n\n    return result\n\ncc_wrap()\n
Run Code Online (Sandbox Code Playgroud)\n

python parallel-processing performance numpy numba

5
推荐指数
1
解决办法
711
查看次数

标签 统计

numba ×1

numpy ×1

parallel-processing ×1

performance ×1

python ×1