h5py是否将整个文件读入内存?

Nic*_*ian 7 h5py

h5py是否将整个文件读入内存?

如果是这样,如果我有一个非常大的文件怎么办?

如果没有,如果我每次想要单个数据从硬盘中获取数据,它会非常慢吗?我怎样才能让它更快?

wea*_*rog 8

h5py是否将整个文件读入内存?

不,不是的.特别是,slicing(dataset[50:100])允许您将数据集的分数加载到内存中.有关详细信息,请参阅h5py文档.

如果没有,如果我每次想要单个数据从硬盘中获取数据,它会非常慢吗?

一般来说,hdf5非常快.但是从内存中读取显然比从磁盘读取更快.您可以决定将多少数据集读入内存(dataset[:]加载整个数据集).

我怎样才能让它更快?

如果您想优化性能,则应阅读有关分块压缩部分.还有一本书详细解释了这些内容(免责声明:我不是作者).