小编Wil*_*bma的帖子

我正在尝试将我的代码（尤其是 scipy.linalg.solve）链接到给定的库，例如 OpenBLAS。

我在虚拟环境中使用 python 3.7.7：

Python 3.7.7 (default, Mar 29 2020, 18:12:06) 
[Clang 11.0.3 (clang-1103.0.32.29)] on darwin

另外值得注意的是，我使用 pip 将 numpy 和 scipy 安装到我的虚拟环境中

pip install numpy
pip install scipy


>>> scipy.__version__
'1.4.1'

>>> numpy.__version__
'1.18.0'

>>> scipy.show_config()
lapack_mkl_info:
    NOT AVAILABLE
openblas_lapack_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
blas_mkl_info:
    NOT AVAILABLE
blis_info:
    NOT AVAILABLE
openblas_info:
    libraries …

我想优化我的代码。一个巨大的瓶颈在于创建一种小的 numpy 数组（重复了很多次）。现在，我无法避免对该函数的调用次数（在我的情况下为数百万次调用）。我无法将所有这些调用向量化在一起，因为不幸的是，根据问题的定义，它们是后续的（它们是在每个独立的内部循环的牛顿求解器中生成的）。所以我的目标是减少在每次迭代中创建该矩阵所需的时间。哪怕是一点点的收获，最终都会产生很大的影响。

def compute_matrix(a, my_dict):
    m = np.zeros(a, a)
    m[0][0] = my_dict['value00']
    m[0][1] = my_dict['value01']
    m[1][1] = my_dict['value11']
    m[1][3] = my_dict['value13']
    m[1][4] = my_dict['value14']
    # ... The array is very sparse, but not banded or with any regular pattern, see below for an example with values
    m[34][35] = my_dict['value3435']

请注意，我简化了示例，实际上，它看起来像：

m[idx['val0']][idx['val0']] = my_dict['val0']['value_a']
m[idx['val0']][idx['val1']] = my_dict['val0']['value_b']

其中 idx 是一个字典，将 'val0' 链接到它在（方形）数组中的索引，例如，idx['val0'] = 0 和 idx['val1'] = 1。

你认为最好的策略是什么（欢迎多种策略，我想优化这个地狱，因为这是我遇到的最大瓶颈，我浪费了 60% 的时间！）。

我的主要想法是将 Cython/Numba 用于该功能，具体取决于每个（可能是 Cython）的易用性。我过去曾使用 C-API 优化过代码，但由于 numpy 对象，我看不到它如何真正应用于这里，而且无论如何开销可能太高，因为数组非常小（~ 40*40）。 …