尝试使用matplotlib绘制大型数组时出现内存错误

Question

我想绘制一个20亿对象的数组,我有8GB的RAM,当我运行以下行时仍然会出现以下错误:

import matplotlib.pyplot as plt
import numpy as np

d = np.arange(200000000)
plt.plot(d)
plt.show()

错误:

Traceback (most recent call last):
...
  File "C:\Python27\lib\site-packages\matplotlib\axes.py", line 317, in _grab_next_args
    for seg in self._plot_args(remaining, kwargs):
  File "C:\Python27\lib\site-packages\matplotlib\axes.py", line 292, in _plot_args
    x = np.arange(y.shape[0], dtype=float)
MemoryError

Answer 1

由于显示器和绘图仪的物理限制,您无论如何都无法绘制20,000,000点.因此,您可以通过采样或使用切片来减少阵列:

>>> m = 20000000
>>> a = np.arange(m)
>>> n = 100 # <- reducing to 100 points
>>> s = m/n # <- size of slices to compress
>>> reduced = []
>>> for i in xrange(n):
...     slice = a[i*s:(i+1)*s]
...     reduced.append(np.mean(slice))
>>> reduced
[99999.5, 299999.5, ..., 19699999.5, 19899999.5]

..假设np.mean对你正在绘制的物体有意义.

Answer 2

MemoryError我没有说谎——你的内存分配失败了。考虑到您试图绘制 2 亿个点（请注意，您发布的数字是 2 亿，而不是 2000 万），这并不是那么不合理。

绘制数百万个点很少或根本没有意义。当我拥有大型数据集时，我会对数据进行预处理，以便绘制不超过数千个点。对于像您这样的数据，一个简单的常规样本就可以了，但对于其他数据的良好描述，峰值查找可能是必要的。