Numba @jit 无法加快此功能的性能。无论如何要解决这个问题?

mat*_*guy 1 optimization performance numpy python-3.x numba

我对 python 中的 numba 包很陌生。我不确定我是否正确使用了 numba.jit,但代码运行速度太慢,每行循环 23.7 秒: Z1 = mmd(X,Y,20) 优化代码的正确方法是什么?我需要你们的帮助。谢谢你。

这是我的代码:

import pandas as pd
import numba as nb
import numpy as np
@nb.jit
def mmd(array1, array2, n):
    n1 = array1.shape[0]
    MMD = np.empty(n1, dtype = 'float64')

    for i in range(n-1,n1):
        MMD[i] = np.average(abs(array1[i+1-n:i+1] - array2[i]))

    return MMD

X = np.array([i**2 for i in range(1000000)])
Y = np.array([i for i in range(1000000)])
Z1 = mmd(X,Y,20)
Run Code Online (Sandbox Code Playgroud)

编辑:进一步简化代码

EDIT2:试过@nb.jit(nopython = True),然后有一个错误信息:

KeyError: "<class 'numba.targets.cpu.CPUTargetOptions'> does not support option: 'nonpython'"
Run Code Online (Sandbox Code Playgroud)

也试过:

@nb.jit(nb.float32[:](nb.float32[:],nb.float32[:],nb.int8))
Run Code Online (Sandbox Code Playgroud)

Joh*_*nck 5

正如您所提到的,要使 Numba 正常工作,您需要使用“nopython”模式。要启用此功能,只需使用jit替换为njit(或等效地, )运行程序jit(nopython=True),并一一修复错误:

  1. np.empty() 不支持dtype='float64'Numba 中的参数。不过没关系,因为 float64 是默认值。只需将其删除。
  2. Numba 不支持 np.average()。没关系,因为无论如何我们都没有传递任何权重,所以它与 np.mean() 相同。代替它。
  3. Numba 不支持内置的 abs()。改用 np.abs() 。

我们最终得到这个:

@nb.njit
def mmd(array1, array2, n):
    n1 = array1.shape[0]
    MMD = np.empty(n1)

    for i in range(n-1,n1):
        MMD[i] = np.mean(np.abs(array1[i+1-n:i+1] - array2[i]))

    return MMD
Run Code Online (Sandbox Code Playgroud)

而且速度快了 100 倍。

奖金提示:

  1. 您可以像这样更简洁、更快地初始化示例数据:

    Y = np.arange(1000000)
    X = Y * Y
    
    Run Code Online (Sandbox Code Playgroud)
  2. 结果中的前 n 个值是未初始化的垃圾。你可能想以某种方式清理它。