MemoryError：无法为形状为 (725000, 277, 76) 和数据类型 float64 的数组分配 30.4 GiB

Question

它给出了内存错误，但内存容量从未达到。我在 SSH 上有 60 GB 的内存，完整的数据集处理消耗了 30 GB，我正在尝试用 k 倍训练自动编码器。如果没有 k 倍，训练效果很好。原始数据集包含 hdf5 中的 250,000 条数据。对于 K-fold，如果我使用的总数据少于 100000，它就可以工作。我已经将其转换为 float32 但仍然不起作用。我也尝试过 echo 1 但会自动终止 python 程序

Answer 1

考虑到您提供的数据集的尺寸 ( 725000x 277x 76) 及其数据类型 (float64 -8字节)，您似乎需要（至少）大约114GB 才能将数据集加载/存储在 RAM 中。

克服此限制的解决方案是：1）通过 hyperslab 选择读取一定量的数据集（例如当时 1 GB 的数据块）并将其加载/存储在内存中，2）处理它，3）重复该过程（即转到步骤 1）直到数据集完全处理完毕。这样，您就不会耗尽 RAM 内存。