numpy数组中有多少内存？RAM是限制因素吗？

Question

我正在使用numpy创建一个边长为100的立方体数组,因此总共包含100万个条目.对于每百万个条目,我插入一个100x100矩阵,其条目由随机生成的数字组成.我使用以下代码来执行此操作:

import random
from numpy import *

cube = arange(1000000).reshape(100,100,100)

for element in cube.flat:
    matrix = arange(10000).reshape(100,100)
    for entry in matrix.flat:
        entry = random.random()*100
    element = matrix

我期待这需要一段时间,但是生成了100亿个随机数,我不确定我的电脑是否可以处理它.这样一个阵列会占用多少内存？RAM是一个限制因素,即如果我的计算机没有足够的RAM,它是否无法实际生成阵列？

此外,如果有更高效的实现此代码,我会很感激提示:)

Answer 1

几点:

• numpy数组的内存大小很容易计算.它只是元素的数量乘以数据大小,加上一个小的常量开销.例如,如果你cube.dtype是int64,并且它有1,000,000个元素,那么它将需要1000000 * 64 / 8 = 8,000,000字节(8Mb).
• 但是,正如@Gabe指出的那样,100*100*1,000,000双打将需要大约80 Gb.
• 这不会导致任何"破坏"本身,但由于您的计算机需要进行的所有交换,操作将会非常缓慢.
• 你的循环不会达到预期的效果.而不是替换元素cube,element = matrix将简单地覆盖element变量,保持cube不变.同样适用于entry = random.rand() * 100.
• 相反,请参阅:http://docs.scipy.org/doc/numpy/reference/arrays.nditer.html#modifying-array-values