Wil*_*bma 5 python optimization numpy
我想优化我的代码。一个巨大的瓶颈在于创建一种小的 numpy 数组（重复了很多次）。现在，我无法避免对该函数的调用次数（在我的情况下为数百万次调用）。我无法将所有这些调用向量化在一起，因为不幸的是，根据问题的定义，它们是后续的（它们是在每个独立的内部循环的牛顿求解器中生成的）。所以我的目标是减少在每次迭代中创建该矩阵所需的时间。哪怕是一点点的收获，最终都会产生很大的影响。
def compute_matrix(a, my_dict):
m = np.zeros(a, a)
m[0][0] = my_dict['value00']
m[0][1] = my_dict['value01']
m[1][1] = my_dict['value11']
m[1][3] = my_dict['value13']
m[1][4] = my_dict['value14']
# ... The array is very sparse, but not banded or with any regular pattern, see below for an example with values
m[34][35] = my_dict['value3435']
请注意，我简化了示例，实际上，它看起来像：
m[idx['val0']][idx['val0']] = my_dict['val0']['value_a']
m[idx['val0']][idx['val1']] = my_dict['val0']['value_b']
其中 idx 是一个字典，将 'val0' 链接到它在（方形）数组中的索引，例如，idx['val0'] = 0 和 idx['val1'] = 1。
你认为最好的策略是什么（欢迎多种策略，我想优化这个地狱，因为这是我遇到的最大瓶颈，我浪费了 60% 的时间！）。
我的主要想法是将 Cython/Numba 用于该功能，具体取决于每个（可能是 Cython）的易用性。我过去曾使用 C-API 优化过代码，但由于 numpy 对象，我看不到它如何真正应用于这里，而且无论如何开销可能太高，因为数组非常小（~ 40*40）。
数组中的非零值会改变，但零将始终保持为零。也许使用此属性可行？
您是否可以在这里看到低悬的优化成果，或者 Cython 是我唯一真正的选择？或者 Cython 甚至根本没有多大帮助？
结束矩阵的一个例子：
[[-6.3e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1.7e-11 0 6.5e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 -3.4e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8.0e-10 4.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 -4.0e-09 9.7e-13 0 0 0 0 0 0 4.9e-08 0 0 0 0 0 0 0 3.8e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 3.4e-06 1.3e-09 -4.9e-09 8.9e-13 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 7.2e-10 -1.8e-09 5.3e-12 0 0 0 0 0 0 1.2e-09 0 0 0 0 0 0 0 1.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 9.0e-10 -7.6e-09 1.7e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 7.9e-10 -6.4e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2.1e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 1.5e-09 0 -4.1e-09 1.3e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 1.5e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 5.5e-10 -8.1e-09 1.6e-13 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 9.1e-10 -3.2e-09 0 0 0 0 0 0 0 0 0 0 0 0 7.0e-10 5.9e-12 5.9e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 -5.0e-08 9.1e-13 0 0 0 0 0 0 0 0 0 0 9.9e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 4.2e-10 -7.1e-09 5.9e-13 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 1.0e-09 -3.5e-09 2.0e-12 0 0 0 0 0 0 0 0 0 1.9e-05 4.4e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 1.3e-09 -6.8e-09 1.5e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 1.0e-09 -6.7e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -5.0e-09 1.8e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9.8e-10 -1.0e-09 0 0 0 0 1.1e-11 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -3.7e-09 3.3e-12 0 0 1.2e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 2.4e-12 0 0 0 0 0 0 7.2e-13 0 0 0 0 0 0 0 0 2.9e-09 -3.8e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 5.4e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -4.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 3.3e-09 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1.1e-09 -1.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 4.2e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7.8e-10 0 0 0 0 -1.2e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 2.9e-09 1.6e-10 3.3e-13 0 0 0 0 0 0 0 0 0 0 0 0 -1.2e-05 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 2.9e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 -1.9e-05 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 2.4e-09 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -4.4e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 5.8e-12 7.9e-11 1.8e-10 2.7e-10 6.0e-11 3.5e-10 4.1e-11 4.1e-11 4.6e-10 3.0e-11 2.4e-11 3.9e-10 6.6e-11 3.8e-10 4.3e-11 2.6e-10 1.4e-11 5.3e-11 3.0e-10 9.0e-11 0 9.5e-11 4.4e-10 4.5e-10 4.5e-10 0 3.0e-01 1.2e+00 9.8e-01 9.5e-02 3.5e+00 2.6e-02 4.1e-02 2.7e-05 3.5e+00 4.0e-04 7.0e-03 4.2e-03]
[ 8.4e-13 0 2.7e-12 5.7e-12 1.7e-12 1.8e-11 2.1e-12 5.7e-13 0 7.7e-13 1.6e-13 0 0 8.0e-12 0 1.4e-11 1.1e-12 1.9e-12 1.5e-11 1.0e-11 0 1.1e-11 0 0 0 0 -3.0e-01 0 0 0 0 0 0 0 0 0 0 0 ]
[ 2.3e-14 0 7.5e-14 1.6e-13 4.9e-14 5.1e-13 5.7e-14 1.6e-14 0 2.1e-14 4.6e-15 0 0 2.2e-13 0 3.9e-13 3.0e-14 5.2e-14 4.1e-13 2.9e-13 0 3.0e-13 0 0 0 0 0 -1.2e+00 0 0 0 0 0 0 0 0 0 0 ]
[ 3.0e-13 0 9.7e-13 2.1e-12 6.3e-13 6.6e-12 7.4e-13 2.0e-13 0 2.8e-13 5.9e-14 0 0 2.9e-12 0 5.1e-12 3.9e-13 6.7e-13 5.3e-12 3.7e-12 0 3.9e-12 0 0 0 0 0 0 -9.8e-01 0 0 0 0 0 0 0 0 0 ]
[ 3.1e-13 0 9.9e-13 2.1e-12 6.4e-13 6.7e-12 7.6e-13 2.1e-13 0 2.8e-13 6.0e-14 0 0 2.9e-12 0 5.2e-12 4.0e-13 6.9e-13 5.4e-12 3.8e-12 0 4.0e-12 0 0 0 0 0 0 0 -9.5e-02 0 0 0 0 0 0 0 0 ]
[ 1.2e-13 0 3.7e-13 7.9e-13 2.4e-13 2.5e-12 2.8e-13 7.8e-14 0 1.1e-13 2.3e-14 0 0 1.1e-12 0 1.9e-12 1.5e-13 2.6e-13 2.0e-12 1.4e-12 0 1.5e-12 0 0 0 0 0 0 0 0 -3.5e+00 0 0 0 0 0 0 0 ]
[ 4.0e-13 0 1.3e-12 2.7e-12 8.2e-13 8.6e-12 9.7e-13 2.7e-13 0 3.6e-13 7.8e-14 0 0 3.8e-12 0 6.6e-12 5.1e-13 8.8e-13 6.9e-12 4.9e-12 0 5.2e-12 0 0 0 0 0 0 0 0 0 -2.6e-02 0 0 0 0 0 0 ]
[ 1.3e-11 1.8e-10 4.0e-10 6.2e-10 1.4e-10 7.9e-10 9.4e-11 9.4e-11 1.0e-09 6.8e-11 5.5e-11 9.0e-10 1.5e-10 8.6e-10 1.0e-10 6.0e-10 3.3e-11 1.2e-10 6.9e-10 2.1e-10 0 2.2e-10 1.0e-09 1.0e-09 1.0e-09 0 0 0 0 0 0 0 -4.1e-02 0 0 0 0 0 ]
[ 2.0e-11 2.8e-10 6.2e-10 9.6e-10 2.1e-10 1.2e-09 1.5e-10 1.4e-10 1.6e-09 1.0e-10 8.5e-11 1.4e-09 2.3e-10 1.3e-09 1.5e-10 9.2e-10 5.1e-11 1.9e-10 1.1e-09 3.2e-10 0 3.4e-10 1.6e-09 1.6e-09 1.6e-09 0 0 0 0 0 0 0 0 -2.7e-05 0 0 0 0 ]
[ 2.0e-14 2.8e-13 6.2e-13 9.5e-13 2.1e-13 1.2e-12 1.4e-13 1.4e-13 1.6e-12 1.0e-13 8.4e-14 1.4e-12 2.3e-13 1.3e-12 1.5e-13 9.1e-13 5.0e-14 1.9e-13 1.0e-12 3.1e-13 0 3.3e-13 1.5e-12 1.6e-12 1.6e-12 0 0 0 0 0 0 0 0 0 -3.5e+00 0 0 0 ]
[ 3.1e-11 4.2e-10 9.4e-10 1.4e-09 3.2e-10 1.8e-09 2.2e-10 2.2e-10 2.4e-09 1.6e-10 1.3e-10 2.1e-09 3.5e-10 2.0e-09 2.3e-10 1.4e-09 7.6e-11 2.8e-10 1.6e-09 4.8e-10 0 5.0e-10 2.3e-09 2.4e-09 2.4e-09 0 0 0 0 0 0 0 0 0 0 -4.0e-04 0 0 ]
[ 2.4e-12 3.3e-11 7.3e-11 1.1e-10 2.5e-11 1.4e-10 1.7e-11 1.7e-11 1.9e-10 1.2e-11 9.9e-12 1.6e-10 2.7e-11 1.6e-10 1.8e-11 1.1e-10 5.9e-12 2.2e-11 1.2e-10 3.7e-11 0 3.9e-11 1.8e-10 1.9e-10 1.9e-10 0 0 0 0 0 0 0 0 0 0 0 -7.0e-03 0 ]
[ 1.6e-11 2.2e-10 4.9e-10 7.6e-10 1.7e-10 9.7e-10 1.1e-10 1.1e-10 1.3e-09 8.3e-11 6.7e-11 1.1e-09 1.8e-10 1.1e-09 1.2e-10 7.3e-10 4.0e-11 1.5e-10 8.4e-10 2.5e-10 0 2.6e-10 1.2e-09 1.3e-09 1.3e-09 0 0 0 0 0 0 0 0 0 0 0 0 -4.2e-03]]
| 归档时间： |
|
| 查看次数： |
71 次 |
| 最近记录： |