HDF5 数据集的数量限制

Question

使用 h5py 创建一个包含许多数据集的 hdf5 文件，在 ca 之后我遇到了大量的速度下降。2,88 个 mio 数据集。这是什么原因？

我假设达到了数据集树结构的限制，因此必须重新排序树，这非常耗时。

这是一个简短的例子：

import h5py
import time

hdf5_file = h5py.File("C://TEMP//test.hdf5")

barrier = 1
start = time.clock()
for i in range(int(1e8)):
    hdf5_file.create_dataset(str(i), [])
    td = time.clock() - start
    if td > barrier:
        print("{}: {}".format(int(td), i))
        barrier = int(td) + 1

    if td > 600: # cancel after 600s
        break

编辑：

通过对数据集进行分组，可以避免这种限制：

import h5py
import time

max_n_keys = int(1e7)
max_n_group = int(1e5)

hdf5_file = h5py.File("C://TEMP//test.hdf5", "w")
group_key= str(max_n_group)
hdf5_file.create_group(group_key)

barrier=1
start = time.clock()
for i in range(max_n_keys):

    if i>max_n_group:
        max_n_group += int(1e5)
        group_key= str(max_n_group)
        hdf5_file.create_group(group_key)

    hdf5_file[group_key].create_dataset(str(i), data=[])
    td = time.clock() - start
    if td > barrier:
        print("{}: {}".format(int(td), i))
        barrier = int(td) + 1

Answer 1

根据在MetaData caching中找到的 hdf5 组文档，我能够在性能急剧下降的地方突破限制。基本上，我调用了（在C/C++中，不知道如何从python访问类似的HDF5函数）H5Fset_mdc_config()，并将配置参数中的max_size值更改为128*1024*124

这样做，我能够创建多 4 倍的数据集。

希望能帮助到你。