我严重损坏了Cython,它的性能比纯Python差.为什么？

Question

我对Python很陌生,对C很不了解(不幸的是)所以我正在努力正确理解使用Cython的一些方面.

在分析了一个Python程序并发现它只是几个在大部分时间都在占用的循环之后,我决定将它们转移到Cython中.最初,我让Cython按原样解释Python,结果是(非凡!)〜2倍的速度提升.凉!

从Python main,我传递函数两个2-D数组("a"和"b")和一个浮点数"d",它返回一个列表"newlist".例如:

a =[[12.7, 13.5, 1.0],[23.4, 43.1, 1.0],...]
b =[[0.46,0.95,0],[4.56,0.92,0],...]
d = 0.1

这是原始代码,只为Cython添加了cdef:

def loop(a, b, d):

    cdef int i, j
    cdef double x, y

    newlist = []

    for i in range(len(a)):
        if b[i][2] != 1:
            for j in range(i+1,len(a)):
                if a[i] == a[j] and b[j][2] != 1:
                    x = b[i][0]+b[j][0]
                    y = b[i][1]+b[j][1]
                    b[i][2],b[j][2] = 1,1

                    if abs(y)/abs(x) > d:
                        if y > 0: newlist.append([a[i][0],a[i][1],y])

    return newlist

在"纯Python"中,这在~12.5秒内运行(有几万个循环).在Cython中,它运行在~6.3秒.完成近乎零的工作取得了很大进展!

然而,通过一点阅读,很明显可以做更多,更多的事情,所以我开始尝试应用一些类型更改来使事情变得更快,遵循Cython文档,在这里(也在评论中引用).

以下是收集的修改,旨在模仿Cython文档:

import numpy as np
cimport numpy as np

DtypeA = np.float
DtypeB = np.int

ctypedef np.float_t DtypeA_t
ctypedef np.int_t DtypeB_t

def loop(np.ndarray[DtypeA_t, ndim=2] A,
         np.ndarray[DtypeA_t, ndim=2] B,
         np.ndarray[DtypeB_t, ndim=1] C,
         float D):

    cdef Py_ssize_t i, j
    cdef float x, y

    cdef np.ndarray[DtypeA_t, ndim=2] NEW_ARRAY = np.zeros((len(C),3), dtype=DtypeA)

    for i in range(len(C)):
        if C[i] != 1:
            for j in range(i+1,len(C)):
                if A[i][0]==A[j][0] and A[i][1]==A[j][1] and C[j]!= 1:
                    x = B[i][0]+B[j][0]
                    y = B[i][1]+B[j][1]
                    C[i],C[j] = 1,1

                    if abs(y)/abs(x) > D:
                        if y > 0: NEW_ARRAY[i]=([A[i][0],A[i][1],y])

    return NEW_ARRAY

除此之外,我将前一个数组"b"分成两个不同的输入数组"B"和"C",因为"b"的每一行包含2个浮点元素和一个仅作为标志的整数.所以我删除了标志整数并将它们放在一个单独的1-D数组中,"C".所以,输入现在看起来像这样:

A =[[12.7, 13.5, 1.0],[23.4, 43.1, 1.0],...]
B =[[0.46,0.95],[4.56,0.92],...]
C =[0,0,...]
D = 0.1

理想情况下,现在输入的所有变量(？)都应该快得多......但显然我做的事情非常错误,因为这个函数现在在35.3s时出现...比WalsE还要糟糕纯Python"!!

我怎么这么糟糕？谢谢阅读!

Answer 1

我相信索引符号的使用b[j][0]可能会使Cython失效,使得它无法在幕后使用快速索引操作.顺便说一句,即使在纯Python代码中,这种风格也不是惯用的,可能会导致代码变慢.

请尝试使用整个表示法b[j,0],看看它是否会提高您的表现.