为什么NumPy阵列如此之快？

Question

我刚刚改变了一个我正在编写的程序,将我的数据保存为numpy数组,因为我遇到了性能问题,而且差别很大.它最初运行需要30分钟,现在需要2.5秒!

我想知道它是如何做到的.我认为是因为它消除了对for循环的需要但超出了我的难度.

Answer 1

Numpy数组是密集的同类型数组.相比之下,Python列表是指向对象的指针数组,即使它们都属于同一类型.因此,您可以获得参考地点的好处.

此外,许多Numpy操作在C中实现,避免了Python中的循环,指针间接和每元素动态类型检查的一般成本.速度提升取决于您正在执行的操作,但在数字运算程序中,几个数量级并不罕见.

Answer 2

numpy数组是专门的数据结构.这意味着您不仅可以获得高效的内存中表示的好处,还可以获得高效的专用实现.

例如,如果要总结两个数组,则将使用专门的CPU向量操作执行添加,而不是在循环中调用int addition的python实现.

Answer 3

考虑以下代码：

import numpy as np
import time

a = np.random.rand(1000000)
b = np.random.rand(1000000)

tic = time.time()
c = np.dot(a, b)
toc = time.time()

print("Vectorised version: " + str(1000*(toc-tic)) + "ms")

c = 0
tic = time.time()
for i in range(1000000):
    c += a[i] * b[i]
toc = time.time()

print("For loop: " + str(1000*(toc-tic)) + "ms")

输出：

Vectorised version: 2.011537551879883ms
For loop: 539.8685932159424ms

这里 Numpy 快得多，因为它利用了并行性（这是单指令多数据 (SIMD) 的情况），而传统的 for 循环无法利用它。