mat*_*guy 1 optimization performance numpy python-3.x numba
我对 python 中的 numba 包很陌生。我不确定我是否正确使用了 numba.jit,但代码运行速度太慢,每行循环 23.7 秒: Z1 = mmd(X,Y,20) 优化代码的正确方法是什么?我需要你们的帮助。谢谢你。
这是我的代码:
import pandas as pd
import numba as nb
import numpy as np
@nb.jit
def mmd(array1, array2, n):
n1 = array1.shape[0]
MMD = np.empty(n1, dtype = 'float64')
for i in range(n-1,n1):
MMD[i] = np.average(abs(array1[i+1-n:i+1] - array2[i]))
return MMD
X = np.array([i**2 for i in range(1000000)])
Y = np.array([i for i in range(1000000)])
Z1 = mmd(X,Y,20)
Run Code Online (Sandbox Code Playgroud)
编辑:进一步简化代码
EDIT2:试过@nb.jit(nopython = True),然后有一个错误信息:
KeyError: "<class 'numba.targets.cpu.CPUTargetOptions'> does not support option: 'nonpython'"
Run Code Online (Sandbox Code Playgroud)
也试过:
@nb.jit(nb.float32[:](nb.float32[:],nb.float32[:],nb.int8))
Run Code Online (Sandbox Code Playgroud)
正如您所提到的,要使 Numba 正常工作,您需要使用“nopython”模式。要启用此功能,只需使用jit替换为njit(或等效地, )运行程序jit(nopython=True),并一一修复错误:
dtype='float64'Numba 中的参数。不过没关系,因为 float64 是默认值。只需将其删除。我们最终得到这个:
@nb.njit
def mmd(array1, array2, n):
n1 = array1.shape[0]
MMD = np.empty(n1)
for i in range(n-1,n1):
MMD[i] = np.mean(np.abs(array1[i+1-n:i+1] - array2[i]))
return MMD
Run Code Online (Sandbox Code Playgroud)
而且速度快了 100 倍。
奖金提示:
您可以像这样更简洁、更快地初始化示例数据:
Y = np.arange(1000000)
X = Y * Y
Run Code Online (Sandbox Code Playgroud)结果中的前 n 个值是未初始化的垃圾。你可能想以某种方式清理它。