Chunked HDF5 DataSet和slabsize

Question

我们正在评估HDF5在分块数据集方面的表现.特别是我们试图弄清楚是否有可能读取不同的连续块以及如何影响性能？例如,我们有一个块大小为10的数据集,一个包含100个值的数据集,并希望读取值23到48.是否会有很大的性能损失？

非常感谢!

Answer 1

我不知道如何具体回答你的问题，但我建议你使用 1024 的块大小（或任何更高的 2 的幂）。我不知道 HDF5 的内部结构，但根据我对文件系统的了解，以及我们所做的粗略基准测试，1024 刚刚好。