我可以矢量化这个Python代码吗？

Question

我是Python的新手,我必须实现此代码的"尽快"版本.

s="<%dH" % (int(width*height),)
z=struct.unpack(s, contents)

heights = np.zeros((height,width))
for r in range(0,height):
    for c in range(0,width):
        elevation=z[((width)*r)+c]
        if (elevation==65535 or elevation<0 or elevation>20000):
            elevation=0.0

        heights[r][c]=float(elevation)

我已经阅读了一些python矢量化问题......但我不认为它适用于我的情况.大多数问题都是使用np.sum而不是使用for loops.我想我有两个问题:

1. 是否有可能加快这个代码...我认为heights[r][c]=float(elevation)是瓶颈所在.我需要找一些Python计时命令来确认这一点.
2. 如果可以加速这段代码.我有什么选择？我见过一些人建议cython,pypy,weave.我可以在C中更快地完成这个,但是这段代码也需要生成图,所以我想坚持使用Python,这样我就可以使用了matplotlib.

Answer 1

正如您所提到的,编写快速代码的关键numpy涉及向量化,并将工作推送到快速C级例程而不是Python循环.通常的方法似乎相对于原始代码改进了十倍左右:

def faster(elevation, height, width):
    heights = np.array(elevation, dtype=float)
    heights = heights.reshape((height, width))
    heights[(heights < 0) | (heights > 20000)] = 0
    return heights

>>> h,w = 100, 101; z = list(range(h*w))
>>> %timeit orig(z,h,w)
100 loops, best of 3: 9.71 ms per loop
>>> %timeit faster(z,h,w)
1000 loops, best of 3: 641 µs per loop
>>> np.allclose(orig(z,h,w), faster(z,h,w))
True

这个比例似乎持续更长时间z:

>>> h,w = 1000, 10001; z = list(range(h*w))
>>> %timeit orig(z,h,w)
1 loops, best of 3: 9.44 s per loop
>>> %timeit faster(z,h,w)
1 loops, best of 3: 675 ms per loop