我有一个巨大的numpy 3D张量存储在我的磁盘上的文件中(我通常使用它读取np.load).这是一个二进制.npy文件.在使用时np.load,我很快就结束了大部分的记忆.
幸运的是,在程序的每次运行中,我只需要一定量的巨大张量.切片具有固定的尺寸,其尺寸由外部模块提供.
最好的方法是什么？我能想出的唯一方法是将这个numpy矩阵存储到MySQL数据库中.但我敢肯定有很多更好/更简单的方法.我也很乐意以不同的方式构建我的3D张量文件,如果有帮助的话.
如果我的张量在本质上是稀疏的,答案会改变吗？