计算1000个阵列的统计数据

Question

我正在编写一个python模块,需要计算1000多个数组(相同维度)的像素值的平均值和标准差.

我正在寻找最快的方法来做到这一点.

目前我循环遍历数组并使用numpy.dstack将1000个数组堆叠成一个相当大的3d数组...然后将计算第3(？)维度的平均值.每个阵列都有形状(5000,4000).

这种方法需要相当长的时间!

有人能够建议更有效的方法来解决这个问题吗？

Answer 1

也许你可以以累积的方式计算这样的东西（未经测试）mean：std

im_size = (5000,4000)

cum_sum = np.zeros(im_size)
cum_sum_of_squares = np.zeros(im_size)
n = 0

for filename in filenames:
    image = read_your_image(filename)
    cum_sum += image
    cum_sum_of_squares += image**2
    n += 1

mean_image = cum_sum / n
std_image = np.sqrt(cum_sum_of_squares / n - (mean_image)**2)

这可能受到从磁盘读取图像的速度的限制。它不受内存限制，因为内存中一次只有一张图像。以这种方式进行的计算std可能会遇到数值问题，因为您可能要减去两个大数。如果这是一个问题，您必须循环文件两次，首先计算平均值，然后(image - mean_image)**2在第二遍中累加。